CN1258056A - 以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 - Google Patents
以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 Download PDFInfo
- Publication number
- CN1258056A CN1258056A CN 99120090 CN99120090A CN1258056A CN 1258056 A CN1258056 A CN 1258056A CN 99120090 CN99120090 CN 99120090 CN 99120090 A CN99120090 A CN 99120090A CN 1258056 A CN1258056 A CN 1258056A
- Authority
- CN
- China
- Prior art keywords
- cache
- data
- scsi
- external storage
- hard disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡。本发明涉及计算机外存储器加速卡技术,主要解决目前计算机外存储系统对频繁读写响应慢的问题。本发明所述的外存储器加速卡,它与计算机的SCSI总线相串联,以缩短可写入式外存储系统读写响应时间,特别是小写响应时间,本发明技术方案,经模拟运行证明,能提高服务器和工作站存储系统的速度性能4—8倍。
Description
本发明涉及计算机系统外存储器加速卡技术。具体地说，这种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，以SCSI电缆总线串联于SCSI适配器(即SCSI卡和RAID卡)与所有SCSI设备之间，作用是缩短可写入式外存储器读写响应时间，特别是缩短小写时间。
在本发明提出之前，为了提高计算机的整体计算性能，几代科学家进行了艰苦的探索，70年代的计算瓶颈在中央处理器(CPU)，80年代的计算瓶颈在内存和系统总线，90年代的计算瓶颈在网络带宽。到90年代未，随着Internet的高速普及，企业内部网络的快速发展，以及电子商务、Web服务和E-mail服务的兴起，计算机的计算瓶颈已经转移到计算机的外存储系统上。随着应用程序的扩大，网上服务请求的急剧增加，工作站和网络服务器的存储系统越来越难以满足用户需求。目前，解决这一瓶颈的方法有以下几种：
其一，采用磁盘阵列技术(RAID)，此方法虽能加快大块数据的传输，但对频繁小写操作则性能不理想。
其二，采用加大半导体高速缓存量的技术(Cache)，此方法虽能大大提高存储系统的速度性能，但所用半导体器件---防掉电高速缓存NVRAM，其价格昂贵，除了企业级服务器存储系统采用外，大量的中小规模服务器难以承受其价格。
本发明的目的是，提供一种通过SCSI总线电缆，串联于SCSI适配器与所有SCSI设备之间的外存储器加速卡设计方案，主要解决目前计算机外存储系统对频繁读写响应慢的问题，提高服务器和工作站存储系统的速度性能，缩短可写入式外存储器读/写响应时间，特别是缩短小写响应时间之目的。
实现本发明的具体技术措施及方案是，这种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，它使用少量RAM收集不连续的I/O请求，然后以连续方式整体转存入硬盘缓存区，即高速缓存Cache盘，并在系统空闲时，将数据分散转存到数据盘的目标地址，它至少包括：一个具有PCI规范引脚的嵌入式微处理器(CPU)；一个程序存储器(ROM)；一个防掉电数据存储器(RAM)；两个SCSI-PCI总线接口芯片；一个供CPU执行的控制软件包。
本发明所述的数据盘中，设有一个逻辑盘区作高速缓存Cache盘。
本发明所述的防掉电数据存储器(RAM)，它的一部分用作RAM缓存器，其余部分存放CPU工作中生成的一些数据，并且在防掉电保护措施上，该存储器采用局部后备蓄电池供电方法，或者采用非易失性器件(nvRAM)作随机读写存储器。
本发明所述的两个SCSI-PCI总线接口芯片，以串联方式一个连接于主计算机系统的SCSI总线适配器，另一个连接所有带SCSI接口的外存储器。
本发明所述的CPU的控制软件包，执行模拟SCSI总线适配器与其它SCSI外部设备接口的操作，它分析主机通过SCSI总线适配器对外部设备发出的所有命令，将大写命令和数据直接转发到数据盘，而将小写数据和地址改写到防掉电数据存储器中的RAM缓存器中。
本发明所述的CPU控制软件包，在没有新的I/O请求并且Cache盘空闲之时，将RAM缓存器中的全部数据整体转存到Cache盘中，在检测到外存储系统处于较长空闲期时，启动从Cache盘到数据盘的数据分散转存，其间遇到新的I/O请求则暂停。
本发明所述的防掉电数据存储器(RAM)，遇到关机时，能使尚未存盘的小写数据全部安全地保留，直至下一次开机后的适当时机再转移到Cache盘中。
本发明在实际操作过程中，显示出了突出的优越性，由于小写数据首先写入RAM器件，所需时间远短于写入磁盘，所以操作系统等待写入完成的时间较常规写盘操作大大缩短，同时由于RAM缓存区中的大量小写数据块转存到高速缓存(Cache)盘时，采取连续写入方法，因此全过程只有一次寻道和一次道上等待操作，所以耗时比各个小写数据块单独写入要少得多，另外，高速缓存(Cache)盘向数据盘的分散转存操作是在主机空闲时进行，有相当长的间歇期和灵活度，不成为主机繁忙的负荷。经模拟实验证明，在频繁小读小写的情况下，本加速卡可提高写盘操作速度，与现有的写盘速度相比，可提高写速度性能4-8倍。有效地解决了目前计算机速度瓶颈在存储系统上的问题。
下面进一步通过本发明附图描述其原理结构及实现方式。
附图1是SCSI总线串联式方案总体框图。
附图2是外存储器加速卡硬件组成框图。
附图3是控制软件包主程序流程框图。
附图4是测试空闲时间判断逻辑框图。
本发明用小容量的RAM缓存器1收集每次的小写数据，这样响应很快而成本不高；其次是及时把全部小写数据用“大写”方式迅速地整体搬运到Cache盘2(远快于分散写入，数据在RAM缓存器1中停留时间很短)，以避免RAM缓存器，被写满或掉电丢失数据。这样的两级Cache结构对主机来说，就等效于一个相当大的快速(RAM速度)非易失性Cache，兼顾了速度、安全性与成本；最后是在外存储系统访问空隙期间将Cache盘2中的数据逐一发送到数据盘3上的真正目的地址。由于Cache盘2有足够大的容量吸纳一批突发到达的全部小写数据(例如1000-10000个4KB的小写块)，所以这种慢速疏散操作通常能推迟到密集访问结束之后。即使在疏散过程中遭遇新的硬磁盘访问请求，疏散工作也能立即挂起以优先满足访问，所以它不占用主机时间。
对于读请求执行，控制软件包4按现有读Cache技术进行加速。
由上述可知，本发明体结构有足够的数据安全性。
由于本发明是位于I/O总线级的体系结构技术，所以它不需要改动操作系统和其他任何软件，因此可实现性较好。
本发明所提供的附图是上述技术方案的一个实现产品。
1、应用环境
IBM-PC台式计算机及其兼容机，至少有一个SCSI总线适配器8(即SCSI卡)，并以SCSI总线电缆连接硬磁盘(或可写光盘)。
2、产品安装(见附图1)
将外存储器加速卡9固定在IBM-PC台式计算机的外存储器托架上；
将原来插在SCSI总线适配器8输出插座上的SCSI电缆插头(另一端连接所有SCSI设备)改插到外存储器加速卡9的“SCSI总线出端”插座上；
另用一段较短的SCSI电缆连接SCSI总线适配器8与外存储器加速卡9的“SCSI总线入端”插座；
运行安装程序，从某一个硬磁盘的存储空间分出一个专门的逻辑盘区作为逻辑Cache盘2。
本方案不需要在主要操作系统中安装任何驱动软件。
3、产品构成(见附图2)
一个具有PCI规范引脚的嵌入式微处理器(CPU)10；
一个程序存储器(ROM)11；
一个防掉电数据存储器(RAM)12，它的一部分用作RAM缓存器1，其余部分存放CPU工作中生成的一些数据。防掉电技术可以采用局部后备蓄电池，也可以采用非易失性RAM(nvRAM)来实现，视应用领域对性能、价格的侧重而定；
两个SCSI-PCI总线接口芯片(一个上行，一个下行)13；
一个含DCD算法与SCSI总线适配器/SCSI外部设备模拟功能的控制软件。
一个安装程序(图中未画出，仅在安装时使用一次)。
4、产品运行
按照附图1的连接方式，主机通过SCSI总线适配器8对外部设备的所有操作命令(SCSI命令)及其数据都必须通过新增的外存储器加速卡9。
在系统启动自检阶段，外存储器加速卡9简单地转发SCSI总线适配器8与所有SCSI设备之间的通信消息，同时记录所有SCSI设备的配置参数。
在系统运行中，外存储器加速卡9模拟所有SCSI设备与SCSI总线适配器8通信，同时又模拟SCSI总线适配器8与所有SCSI设备通信。
对SCSI总线适配器8发来的大写请求，外存储器加速卡9直接将命令和数据转发到数据盘3；
对小写请求，则将数据和地址改写到RAM缓存器1；
不论何种读请求，都要首先经过“命中”测试，以便从最快捷途径(RAM缓存器具/Cache盘2/数据盘3)读出数据。
每当一次小写完成以后，外存储器加速卡9都要检查是否没有新的I/O请求以及Cache盘2此时是否空闲，如果两个条件同时满足，则将RAM缓存器1的全部数据整体转存到Cache盘2。
外存储器加速卡9还运行一个“空闲测试子程序”测试空闲时间，如果累计50ms没有收到I/O请求，则认为当前处于外存储系统的较长空闲期，它就启动从Cache盘2到数据盘3的数据分散转存，其间遇新的I/O请求则暂停。
由于采用防掉电数据RAM，所以不论遇到正常或非正常关机，其间尚未存盘的小写数据都被安全地保留，直到下一次开机后的适当时机再转移到Cache盘2。
由上述可见，本发明所涉及的外存储器加速卡9实际上与所有SCSI设备共同构成了一个带非易失性读/写Cache的高性能外存储子系统，所以对使用者而言有两个特点；一是外存储器加速卡9的加入对操作系统“透明”，不需对现有软件作任何增减或修改，也不排斥在本发明的产品使用期间中途更换操作系统；二是“存盘数据”的高度安全性，不论是外存储器加速卡9还是Cache盘2中的数据最终都能达到数据盘3，不会因为掉电而丢失。
Claims (7)
1、一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，它使用少量RAM收集不连续的I/O请求，然后以连续方式整体转存入硬盘缓存区，即高速缓存Cache盘，并在系统空闲时，将数据分散转存到数据盘的目标地址，它至少包括：一个具有PCI规范引脚的嵌入式微处理器(CPU)；一个程序存储器(ROM)；一个防掉电数据存储器(RAM)；两个SCSI-PCI总线接口芯片；一个供CPU执行的控制软件包。
2、根据权利要求1所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征是，在数据盘中，设有一个逻辑盘区作高速缓存Cache盘。
3、根据权利要求1所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征在于，防掉电数据存储器(RAM)，它的一部分用作RAM缓存器，其余部分存放CPU工作中生成的一些数据，并且在防掉电保护措施上，该存储器采用局部后备蓄电池供电方法，或者采用非易失性器件(nvRAM)作随机读写存储器。
4、根据权利要求1所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征在于，两个SCSI-PCI总线接口芯片，以串联方式一个连接于主计算机系统的SCSI总线适配器，另一个连接所有带SCSI接口的外存储器。
5、根据权利要求1所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征在于，CPU的控制软件包，执行模拟SCSI总线适配器与其它SCSI外部设备接口的操作，它分析主机通过SCSI总线适配器对外部设备发出的所有命令，将大写命令和数据直接转发到数据盘，而将小写数据和地址改写到防掉电数据存储器中的RAM缓存器中。
6、根据权利要求1所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征在于，CPU控制软件包，在没有新的I/O请求并且Cache盘空闲之时，将RAM缓存器中的全部数据整体转存到Cache盘中，在检测到外存储系统处于较长空闲期时，启动从Cache盘到数据盘的数据分散转存，其间遇到新的I/O请求则暂停。
7、根据权利要求1、3所述的一种以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡，其特征在于，防掉电数据存储器(RAM)，遇到关机时，能使尚未存盘的小写数据全部安全地保留，直至下一次开机后的适当时机再转移到Cache盘中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 99120090 CN1258056A (zh) | 1999-11-30 | 1999-11-30 | 以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 99120090 CN1258056A (zh) | 1999-11-30 | 1999-11-30 | 以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1258056A true CN1258056A (zh) | 2000-06-28 |
Family
ID=5281358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 99120090 Pending CN1258056A (zh) | 1999-11-30 | 1999-11-30 | 以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1258056A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499313B (zh) * | 2009-01-06 | 2012-03-21 | 成都市华为赛门铁克科技有限公司 | 一种确保数据安全的方法、设备及存储系统 |
| CN103955390A (zh) * | 2014-05-07 | 2014-07-30 | 盐城工学院 | 一种嵌入式加速卡 |
| CN104298474A (zh) * | 2014-10-13 | 2015-01-21 | 张维加 | 一种基于服务端与外部缓存系统的外接式计算设备加速方法与实现该方法的设备 |
| CN110659315A (zh) * | 2019-08-06 | 2020-01-07 | 上海孚典智能科技有限公司 | 基于非易失性存储系统的高性能非结构化数据库服务 |
-
1999
- 1999-11-30 CN CN 99120090 patent/CN1258056A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499313B (zh) * | 2009-01-06 | 2012-03-21 | 成都市华为赛门铁克科技有限公司 | 一种确保数据安全的方法、设备及存储系统 |
| CN103955390A (zh) * | 2014-05-07 | 2014-07-30 | 盐城工学院 | 一种嵌入式加速卡 |
| CN103955390B (zh) * | 2014-05-07 | 2016-01-06 | 盐城工学院 | 一种嵌入式加速卡 |
| CN104298474A (zh) * | 2014-10-13 | 2015-01-21 | 张维加 | 一种基于服务端与外部缓存系统的外接式计算设备加速方法与实现该方法的设备 |
| CN110659315A (zh) * | 2019-08-06 | 2020-01-07 | 上海孚典智能科技有限公司 | 基于非易失性存储系统的高性能非结构化数据库服务 |
| CN110659315B (zh) * | 2019-08-06 | 2020-11-20 | 上海孚典智能科技有限公司 | 基于非易失性存储系统的高性能非结构化数据库服务 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102449607B (zh) | 具有多个闪存封装的存储系统 | |
| US8176251B2 (en) | Dynamic optimization of cache memory | |
| EP0805396B1 (en) | Multi-tier cache system for mass storage device and method for implementing such a system | |
| CN104246721B (zh) | 存储系统、存储控制器及存储控制方法 | |
| US7996609B2 (en) | System and method of dynamic allocation of non-volatile memory | |
| US7430639B1 (en) | Optimization of cascaded virtual cache memory | |
| AU2013344519B2 (en) | Memory segment remapping to address fragmentation | |
| CN105027093B (zh) | 用于压缩和紧凑虚拟存储器的方法和装置 | |
| CN103049397B (zh) | 一种基于相变存储器的固态硬盘内部缓存管理方法及系统 | |
| CN100346318C (zh) | 根据存储器占用动态调整预读值的系统和方法 | |
| CN1097774C (zh) | 带有空闲块奇偶校验高速缓存的第五级raid | |
| US5559978A (en) | Method for increasing the efficiency of a virtual memory system by selective compression of RAM memory contents | |
| CN102012791B (zh) | 基于Flash的数据存储PCIE板卡 | |
| CN1290890A (zh) | 利用高速缓存器管理raid存储系统的方法和系统 | |
| CN1195817A (zh) | 在非包含的高速缓存存储器分级体系内使用的实现高速缓存一致性机制的方法和系统 | |
| Lee et al. | Design and implementation of a journaling file system for phase-change memory | |
| CN1607508B (zh) | 自适应重构缓冲区的系统和方法 | |
| CN109213693A (zh) | 存储管理方法、存储系统和计算机程序产品 | |
| US6256711B1 (en) | Method for purging unused data from a cache memory | |
| CN1258056A (zh) | 以最大带宽工作的硬盘作高速缓存的串联式外存储器加速卡 | |
| CN1163829C (zh) | 一种以最大带宽工作的硬盘作高速缓存的外存储器加速方法 | |
| US11620192B2 (en) | Hardware-assisted memory disaggregation with recovery from network failures using non-volatile memory | |
| Cao et al. | Smrts: A performance and cost-effectiveness optimized ssd-smr tiered file system with data deduplication | |
| CA2415018C (en) | Adaptive parallel data clustering when loading a data structure containing data clustered along one or more dimensions | |
| CN1945519A (zh) | 存储控制设备以及存储控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |