CN203930810U - 一种基于多维数据相似性的混合存储系统 - Google Patents
一种基于多维数据相似性的混合存储系统 Download PDFInfo
- Publication number
- CN203930810U CN203930810U CN201420273627.XU CN201420273627U CN203930810U CN 203930810 U CN203930810 U CN 203930810U CN 201420273627 U CN201420273627 U CN 201420273627U CN 203930810 U CN203930810 U CN 203930810U
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- storage system
- lower floor
- upper strata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本实用新型涉及一种基于多维数据相似性的混合存储系统，该系统由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)，构成多层存储架构的混合存储系统。本实用新型具有比单一的机械硬盘HDD存储系统具有更好的数据处理性能，同时多层存储架构使得该存储系统无需以高昂的经济代价来取得性能的提升的有益效果，同时提高混合存储系统中缓存的利用率，利用缓存提高数据读写性能。
Description
所属领域
本实用新型涉及一种基于多维数据相似性的混合存储系统，适用面向多用户即时数据查询，属于分布式计算和计算机存储领域。
背景技术
现有技术中，计算机系统的存储结构一般包括内存单元、硬盘存储单元二种存储结构，有些计算机系统的存储结构为内存存储和硬盘存储单元存储的组合式存储层结构，例如：普通HDD存储硬盘作为一级数据存储层次，与内存缓存构成一个两层数据存储架构，该存储结构虽然可以利用工作流的特征，将数据读取密集型的工作流请求的数据存储在存储硬盘中，能有效地平衡不同工作流的性能，使存储系统的性能得以提高。但该存储结构没有SSD存储结构，其处理数据的能力不强、速度不高，不能应用于数据量大的混合存储系统。
实用新型内容
本实用新型的目的，是为了解决现有的计算机存储结构处理数据的能力不强、速度不高的问题，提供一种基于多维数据相似性的混合存储系统。
本实用新型的目的可以通过采取如下技术方案达到：
一种基于多维数据相似性的混合存储系统，其结构特点在于：由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/O端口连接上层内存单元、中层缓存单元和下层存储单元，构成多层存储架构的混合存储系统。
本实用新型的目的还可以通过采取如下技术方案达到：
进一步地，上层内存单元由主存储器MM构成，中层缓存单元由固态硬盘SSD构成，下层存储单元由机械硬盘HDD构成。
本实用新型具有如下突出的有益效果：
1、本实用新型由上层内存单元、中层缓存单元、下层存储单元构成混合存储系统，在本实用新型的多层存储架构中，中层缓存单元SSD作为内存缓存和机构硬盘HDD存储中间的一层高性能缓存层，被频繁访问的重要数据可以缓存在该层。具有比单一的机械硬盘HDD存储系统具有更好的数据处理性能，同时多层存储架构使得该存储系统无需以高昂的经济代价来取得性能的提升的有益效果。
2、本实用新型可以利用数据的位置相似性提高在多核处理环境下混合存储系统的性能；利用SSD缓存关键数据提高数据处理性能；通过分析数据访问和查询模式提高混合存储系统中缓存的利用率；利用缓存提高数据读写性能。
附图说明
图1是本实用新型一个具体实施例的结构示意图。
具体实施方式
具体实施例1：
参照图1，本实施例由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/O端口连接上层内存单元、中层缓存单元和下层存储单元，构成多层存储架构的混合存储系统。上层内存单元由主存储器MM构成，中层缓存单元由固态硬盘SSD构成，下层存储单元由机械硬盘HDD构成。
在本实施例在实际应用中，以机械硬盘HDD为基本的数据存储介质，存储全部数据集；上一层存储层以固态硬盘SSD为高速数据存储介质，存储部分经常被访问的数据；最上层存储层以内存存储器MM为更高速的数据存储介质，存储少量访问频率更高的数据。整个系统通过数据相似性判定、数据预取、数据置换和数据索引等一系列技术优化系统的访问延迟，提高访问的吞吐量。
在本实用新型的实际应用中，内存缓存的处理速度最快，稳定性也最好，但容量较小，主要被用来存放少量访问频率最高的数据，以及存放各个存储层中经常被访问的数据索引表(Data Index File)。SSD缓存的I/O处理速度次之，容量居中，用于存放部分经常被访问的数据。HDD存储的I/O处理速度最差，价格较低廉，容量最大，用于存放全部数据集。
本实用新型的应用原理如下：
每当一个请求到达，系统首先会解析请求并根据请求的内容先查询内存缓存层的数据索引表，看内存缓存中是否有所需要的数据。如果有则返回数据，否则接着查找SSD缓存层。查询SSD缓存层的数据索引表，看SSD缓存中是否有所需要的数据。如果有则返回数据，否则接着查找HDD存储层。查询HDD存储层的数据索引表，因为HDD存储层含有全部数据集，因此根据索引找到数据返回给上层应用。
当上层应用有数据写入/更新请求时，系统会首先将数据写入内存缓存。每隔一段时间，系统会自动将新写入的数据或内存缓存中被更新但还没写入硬盘的数据(脏数据)写入/更新到机械硬盘(HDD)中去。同时为了保持整个系统的数据一致性，在完成对HDD的数据更新之后，系统还会检查SSD上的数据，如果找到了更新数据的副本的话，同样地，系统会根据脏数据更新SSD上的数据副本。
本实施例利用存储空间较大的HDD来存储全部数据，利用SSD来存储部分较高访问率的数据，和利用MM来存储少量更高访问率的数据。由于SSD缓存和MM缓存空间的有限，缓存系统性能的关键在于如何让缓存空间存放用户更可能将要访问到的数据。结合智能电网应用的数据处理特点，基于数据相似性，可以设计高效的数据预取算法，在后台运行时尽可能将用户将要访问的数据放置到缓存中。另外，由于缓存空间的有限性，当SSD空间被占满了之后，能够准确地选择出那些在未来最不可能被用户访问的数据，将其清除出缓存，为未来更可能被用户访问的数据腾出缓存空间。
采用本实用新型，可实现数据相似性判定、数据预取、数据置换和数据索引等算法和技术，能够降低数据查询延迟，提高数据查询吞吐量。
Claims (2)
1.基于多维数据相似性的混合存储系统，其特征在于：由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)，构成多层存储架构的混合存储系统。
2.根据权利要求1所述的基于多维数据相似性的混合存储系统，其特征在于：上层内存单元(3)由主存储器MM构成，中层缓存单元(2)由固态硬盘SSD构成，下层存储单元(1)由机械硬盘HDD构成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201420273627.XU CN203930810U (zh) | 2014-05-26 | 2014-05-26 | 一种基于多维数据相似性的混合存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201420273627.XU CN203930810U (zh) | 2014-05-26 | 2014-05-26 | 一种基于多维数据相似性的混合存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN203930810U true CN203930810U (zh) | 2014-11-05 |
Family
ID=51826588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201420273627.XU Expired - Fee Related CN203930810U (zh) | 2014-05-26 | 2014-05-26 | 一种基于多维数据相似性的混合存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN203930810U (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104111898A (zh) * | 2014-05-26 | 2014-10-22 | 中国能源建设集团广东省电力设计研究院 | 基于多维数据相似性的混合存储系统及数据管理方法 |
| CN105022698A (zh) * | 2015-06-26 | 2015-11-04 | 上海新储集成电路有限公司 | 利用最后一级混合缓存存储特殊功能数据的方法 |
| CN107291633A (zh) * | 2017-07-14 | 2017-10-24 | 长沙开雅电子科技有限公司 | 一种新型集群存储写缓存分级管理方法 |
| CN107480073A (zh) * | 2017-08-20 | 2017-12-15 | 长沙曙通信息科技有限公司 | 一种存储系统热点数据缓存预读实现方法 |
-
2014
- 2014-05-26 CN CN201420273627.XU patent/CN203930810U/zh not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104111898A (zh) * | 2014-05-26 | 2014-10-22 | 中国能源建设集团广东省电力设计研究院 | 基于多维数据相似性的混合存储系统及数据管理方法 |
| CN105022698A (zh) * | 2015-06-26 | 2015-11-04 | 上海新储集成电路有限公司 | 利用最后一级混合缓存存储特殊功能数据的方法 |
| CN105022698B (zh) * | 2015-06-26 | 2020-06-19 | 上海新储集成电路有限公司 | 利用最后一级混合缓存存储特殊功能数据的方法 |
| CN107291633A (zh) * | 2017-07-14 | 2017-10-24 | 长沙开雅电子科技有限公司 | 一种新型集群存储写缓存分级管理方法 |
| CN107480073A (zh) * | 2017-08-20 | 2017-12-15 | 长沙曙通信息科技有限公司 | 一种存储系统热点数据缓存预读实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Improving flash-based disk cache with lazy adaptive replacement | |
| CN103186350B (zh) | 混合存储系统及热点数据块的迁移方法 | |
| Teng et al. | LSbM-tree: Re-enabling buffer caching in data management for mixed reads and writes | |
| CN203930810U (zh) | 一种基于多维数据相似性的混合存储系统 | |
| KR20150089538A (ko) | 인-메모리 데이터 관리 장치 및 인-메모리 데이터 관리 방법 | |
| CN106548789A (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| CN104111898A (zh) | 基于多维数据相似性的混合存储系统及数据管理方法 | |
| CN105095113B (zh) | 一种缓存管理方法和系统 | |
| CN107003814A (zh) | 存储系统中的有效元数据 | |
| CN102023931A (zh) | 一种自适应缓存预取方法 | |
| CN102117248A (zh) | 一种缓存系统和在缓存系统中缓存数据的方法 | |
| CN102521330A (zh) | 一种桌面虚拟化环境下的镜像分布式存储方法 | |
| CN102915340A (zh) | 一种扩展的基于b+树对象文件系统 | |
| CN107463447A (zh) | 一种基于远程直接非易失内存访问的b+树管理方法 | |
| CN107615254A (zh) | 混合对象存储设备的高速缓存架构和算法 | |
| CN102521419A (zh) | 分级存储的实现方法和系统 | |
| CN106681668A (zh) | 一种基于固态盘缓存的混合式存储系统及存储方法 | |
| CN103985393B (zh) | 一种多光盘数据并行管理方法及装置 | |
| CN100424699C (zh) | 一种属性可扩展的对象文件系统 | |
| CN104598394A (zh) | 一种可动态分配的数据缓存方法及系统 | |
| Jin et al. | Optimizing B+-tree for hybrid storage systems | |
| CN106354805A (zh) | 一种分布式存储系统NoSQL搜索缓存的优化方法和系统 | |
| CN103916459A (zh) | 一种大数据归档存储系统 | |
| CN101714065A (zh) | 一种闪存控制器的映射信息管理方法 | |
| Na et al. | Dynamic In-Page Logging for B⁺-tree Index |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee |
Owner name: CHINA ENERGY ENGINEERING GROUP GUANGDONG ELECTRIC Free format text: FORMER NAME: CHINA ENERGY ENGINEERING GROUP GUANGDONG ELECTRIC POWER DESIGN INSTITUTE |
|
| CP01 | Change in the name or title of a patent holder |
Address after: 510670 Luogang District, Guangdong, Guangzhou Science City Fung Road, No. 1, No. Patentee after: Company limited of China Energy Engineering Group Guangdong Electric Power Design Institute Address before: 510670 Luogang District, Guangdong, Guangzhou Science City Fung Road, No. 1, No. Patentee before: Guangdong Electric Power Design Institute of CEEC |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141105 Termination date: 20210526 |