CN104156181B - 虚拟资源交叉访问与安全隔离方法 - Google Patents
虚拟资源交叉访问与安全隔离方法 Download PDFInfo
- Publication number
- CN104156181B CN104156181B CN201410405840.6A CN201410405840A CN104156181B CN 104156181 B CN104156181 B CN 104156181B CN 201410405840 A CN201410405840 A CN 201410405840A CN 104156181 B CN104156181 B CN 104156181B
- Authority
- CN
- China
- Prior art keywords
- data block
- device layer
- storage device
- cache
- caching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明揭示了一种虚拟资源交叉访问与安全隔离方法,包括存储设备层、缓存设备层、应用程序层。存储设备层包括多个虚拟磁盘,应用程序层包括多个应用程序,应用程序层通过缓存设备层来调用存储设备层的数据。其中,缓存设备层包括主缓存、缓存替换部件、预取部件、和预取缓存。预取部件利用已知的数据块关系定义预取策略。缓存设备层根据到达的请求,在主缓存中寻找被访问的数据块,若失败,则继续在预取缓存中寻找。若预取缓存中没有数据块,则缓存设备层从存储设备层中读取数据块。预取缓存或者存储设备层的数据块一旦被调用,则将数据块替换到主缓存中。缓存设备层将数据块上传至应用程序层的过程中,删除或隐藏来源标识。
Description
技术领域
本发明涉及数据访问方法,更具体地说,涉及一种虚拟资源交叉访问与安全隔离方法。
背景技术
在进行数据挖掘、关联查询时,语义相关的数据块总是趋向于被连续访问,表现为频繁出现的访问序列。挖掘频繁访问模式可用于指导存储系统中的预取和缓存替换、以及数据分布,能够显著提升存储系统的性能。
经典的缓存替换LRU4和LFU5等算法大多基于数据块访问的时间局部性,不能反映数据块在逻辑地址空间上的存储关系。目前的空间局部性的缓存替换DULO等算法,都是基于顺序或随机的空间局部性特征,需要严格定义和识别一个请求的顺序/随机访问特征。但是同一个数据块可能以相关的存储语义进行访问,也可能被随机访问,相对顺序/随机访问特征具有更大的不确定性。数据块访问特征的变化需要缓存替换算法对每个数据块未来的访问特征进行预测。一旦预测失败通常会直接导致缓存失效,因此还需要考虑如何减少预测失败时受到的惩罚。
另一方面,存储于虚拟磁盘中的虚拟资源由于多样性的访问需要和安全需要,在应用现有的算法中已有明显的不足之处,包括但不限于访问速度、访问安全的问题
发明内容
本发明的目的旨在提供一种虚拟资源交叉访问与安全隔离方法,来解决现有技术中虚拟资源交叉访问性能和安全性不足的问题。
根据本发明,提供一种虚拟资源交叉访问与安全隔离方法,包括存储设备层、缓存设备层、应用程序层。存储设备层包括多个虚拟磁盘,应用程序层包括多个应用程序,应用程序层通过缓存设备层来调用存储设备层的数据。其中,缓存设备层包括主缓存、缓存替换部件、预取部件、和预取缓存。预取部件利用已知的数据块关系定义预取策略。缓存设备层根据到达的请求,在主缓存中寻找被访问的数据块,若失败,则继续在预取缓存中寻找,其中,数据块包括对应存储设备层、虚拟磁盘的来源标识。若预取缓存中没有数据块,则缓存设备层从存储设备层中读取数据块。预取缓存或者存储设备层的数据块一旦被调用,则将数据块替换到主缓存中。缓存设备层将数据块上传至应用程序层的过程中,删除或隐藏来源标识。
根据本发明的一实施例,预取策略为:访问在存储设备层内存储的数据块、用户的用户证件,辨认虚拟磁盘的用户证件;由存储的数据块映射用户证件,在用户证件辨认出的虚拟磁盘内提取应用程序需要调用的数据块及其接口映射文件;将存储的数据块及其接口映射文件的接口通过存储设备层上传至应用程序层。
根据本发明的一实施例,预取部件从存储设备层中预取数据块,并将数据块发送至预取缓存。
根据本发明的一实施例,数据块被调用之后,缓存替换部件内存储数据块,并且将数据块存储到主缓存内。
根据本发明的一实施例,用户证件与应用程序相匹配,其包括应用程序与用户的映射关系。
根据本发明的一实施例,接口映射文件包括数据块与虚拟磁盘、存储设备层的映射关系。
根据本发明的一实施例,接口映射文件中包括来源标识。
根据本发明的一实施例,预取缓存或主缓存检测来源标识,缓存替换部件将来源标识删除后,将数据块存储到主缓存内。
采用了本发明的技术方案,能够通过建立新的虚拟资源交叉访问结构来实现更好的性能和更高的安全性。
附图说明
在本发明中,相同的附图标记始终表示相同的特征,其中:
图1是本发明虚拟资源交叉访问与安全隔离方法的结构示意图。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。
如图1所示,本发明提供一种虚拟资源交叉访问与安全隔离方法,其主要的系统结构分为3个层次,分别是存储设备层、缓存设备层、应用程序层,在应用程序层中有多个应用程序,在存储设备层中有多个虚拟磁盘。本发明所指的交叉访问是指每一个应用程序均可以映射到不同的用户权限,并且多个应用程序与多个虚拟磁盘之间的交叉数据访问。另一方面,本发明通过将系统结构分为3个层次,能够更好地适应这种交叉访问,达到更好的性能和更高的安全性。
本发明使用虚拟磁盘进行存储,其有几个固有的优势:
首先,在存储管理的自动化与智能化方面,虚拟存储环境下,所有的存储资源在逻辑上被映射为一个整体,对用户来说是单一视图的透明存储。
其次,单个存储设备的容量、速度等物理特性被屏蔽掉了,无论后台的物理存储是什么设备,服务器及其应用系统看到的都是客户非常熟悉的存储设备的逻辑映像。
因此,系统管理员不必关心自己的后台存储,只须专注管理存储空间本身,所有的存储管理操作,如系统升级、改变RAID级别、初始化逻辑卷、建立和分配虚拟磁盘、存储空间扩容等比从前的任何存储技术都更容易。与现有的SAN相比,存储管理的复杂性被大大降低。
参照图1,本发明的目的是使应用程序层通过缓存设备层来调用存储设备层的数据,因此系统结构的3个层次中,最核心的是缓存设备层的结构与数据传输方法。
继续参照图1,缓存设备层包括主缓存、缓存替换部件、预取部件、和预取缓存。
预取部件利用已知的数据块关系定义预取策略,其中数据块包括对应存储设备层、虚拟磁盘的来源标识。本发明就是要通过系统结构与预取策略相结合来屏蔽来源标识,从而实现对于用户的数据安全隔离。
本发明的预取策略为:
首先,访问在存储设备层内存储的数据块、用户的用户证件,辨认虚拟磁盘的用户证件。
其次,由存储的数据块映射用户证件,在用户证件辨认出的虚拟磁盘内提取应用程序需要调用的数据块及其接口映射文件;。
最后,将存储的数据块及其接口映射文件的接口通过存储设备层上传至应用程序层。
在本发明中,用户证件与应用程序相匹配,其包括应用程序与用户的映射关系,而接口映射文件包括数据块与虚拟磁盘、存储设备层的映射关系以及来源标识,接口映射文件可以反映不同用户使用的应用程序,以及应用程序调用虚拟磁盘中的数据块的整个映射关系。
根据上述预取策略,缓存设备层根据到达的请求,在主缓存中寻找被访问的数据块。若成功,则主缓存将数据块上传至应用程序层。若失败,则继续在预取缓存中寻找。
若预取缓存中没有数据块,则缓存设备层从存储设备层中读取数据块。换句话说,预取部件从存储设备层中预取数据块,并将数据块发送至预取缓存。
预取缓存或者存储设备层的数据块一旦被调用,则将数据块替换到主缓存中。具体来说,数据块被调用之后,缓存替换部件内存储数据块,并且将数据块存储到主缓存内。
缓存设备层将数据块上传至应用程序层的过程中,删除或隐藏来源标识。具体来说,预取缓存或主缓存检测来源标识,缓存替换部件将来源标识删除后,将数据块存储到主缓存内。
上述的预取策略将虚拟化存储与数据调用技术整合底层物理资源,重组后得到多种不同性能和可靠性的数据块,以满足多种应用程序调用的需求。层次化的存储结构和预取策略降低了存储管理复杂性,提高了存储管理的效率。写时按需分配和动态分配等容量虚拟化方法满足动态增加系统容量的需要,利用数据存储虚拟化技术整合底层物理资源,重组后得到多种不同性能和可靠性的数据块,以满足多种应用程序的需求。
本发明的系统结构与预取策略的结合能起到良好的数据隔离,并且提升数据服务质量(Quality of Service,QoS)权重调度等性能。本发明通过虚拟资源的使用,保证了共享存储环境中虚拟磁盘的性能,通过层次化方法实现了数据读取与资源管理的分离。
本发明后端还可以进一步包括集中冗余管理策略,使用活跃数据镜像和后台冗余计算的方式保证了存储节点间的数据冗余,提高了整个系统的数据可靠性。基于应用对缓存资源进行分区管理,每个独立的缓存分区可根据应用负载特征选择合适的缓存替换策略,提高了分区缓存资源利用率。利用历史访问信息和实时访问信息,预测数据块未来的空间局部性特征,指导存储系统的缓存替换策略。
本技术领域中的普通技术人员应当认识到,以上的说明书仅是本发明众多实施例中的一种或几种实施方式,而并非用对本发明的限定。任何对于以上所述实施例的均等变化、变型以及等同替代等技术方案,只要符合本发明的实质精神范围,都将落在本发明的权利要求书所保护的范围内。
Claims (7)
1.一种虚拟资源交叉访问与安全隔离方法,其特征在于,包括:
存储设备层、缓存设备层、应用程序层;
所述存储设备层包括多个虚拟磁盘,所述应用程序层包括多个应用程序,所述应用程序层通过所述缓存设备层来调用所述存储设备层的数据;
其中,所述缓存设备层包括主缓存、缓存替换部件、预取部件、和预取缓存;
所述预取部件利用已知的数据块关系定义预取策略;
所述预取策略为:访问在存储设备层内存储的数据块、用户的用户证件,辨认虚拟磁盘的用户证件;由存储的数据块映射所述用户证件,在用户证件辨认出的虚拟磁盘内提取应用程序需要调用的数据块及其接口映射文件;将存储的数据块及其接口映射文件的接口通过存储设备层上传至应用程序层;
所述缓存设备层根据到达的请求,在主缓存中寻找被访问的数据块,若失败,则继续在预取缓存中寻找,其中,所述数据块包括对应所述存储设备层、所述虚拟磁盘的来源标识;
若预取缓存中没有所述数据块,则所述缓存设备层从所述存储设备层中读取所述数据块;
所述预取缓存或者所述存储设备层的数据块一旦被调用,则将所述数据块替换到主缓存中;
所述缓存设备层将所述数据块上传至所述应用程序层的过程中,删除或隐藏所述来源标识。
2.如权利要求1所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述预取部件从所述存储设备层中预取数据块,并将所述数据块发送至所述预取缓存。
3.如权利要求1所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述数据块被调用之后,所述缓存替换部件内存储所述数据块,并且将所述数据块存储到主缓存内。
4.如权利要求3所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述用户证件与所述应用程序相匹配,其包括所述应用程序与用户的映射关系。
5.如权利要求4所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述接口映射文件包括所述数据块与所述虚拟磁盘、所述存储设备层的映射关系。
6.如权利要求5所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述接口映射文件中包括所述来源标识。
7.如权利要求6所述的虚拟资源交叉访问与安全隔离方法,其特征在于,所述预取缓存或所述主缓存检测所述来源标识,所述缓存替换部件将所述来源标识删除后,将所述数据块存储到所述主缓存内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410405840.6A CN104156181B (zh) | 2014-08-18 | 2014-08-18 | 虚拟资源交叉访问与安全隔离方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410405840.6A CN104156181B (zh) | 2014-08-18 | 2014-08-18 | 虚拟资源交叉访问与安全隔离方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156181A CN104156181A (zh) | 2014-11-19 |
CN104156181B true CN104156181B (zh) | 2017-02-15 |
Family
ID=51881691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410405840.6A Active CN104156181B (zh) | 2014-08-18 | 2014-08-18 | 虚拟资源交叉访问与安全隔离方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156181B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117247B (zh) * | 2018-07-18 | 2021-12-07 | 上海交通大学 | 一种基于异构多核拓扑感知的虚拟资源管理系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6212603B1 (en) * | 1998-04-09 | 2001-04-03 | Institute For The Development Of Emerging Architectures, L.L.C. | Processor with apparatus for tracking prefetch and demand fetch instructions serviced by cache memory |
CN1604055A (zh) * | 2003-09-30 | 2005-04-06 | 国际商业机器公司 | 利用永久历史页表数据预取数据到高速缓存的装置和方法 |
CN103176914A (zh) * | 2011-11-18 | 2013-06-26 | 上海芯豪微电子有限公司 | 一种低缺失率、低缺失惩罚的缓存方法和装置 |
CN103488578A (zh) * | 2012-12-28 | 2014-01-01 | 晶天电子(深圳)有限公司 | 虚拟存储设备(vmd)应用/驱动器 |
CN103513958A (zh) * | 2012-06-27 | 2014-01-15 | 上海芯豪微电子有限公司 | 高性能指令缓存系统和方法 |
-
2014
- 2014-08-18 CN CN201410405840.6A patent/CN104156181B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6212603B1 (en) * | 1998-04-09 | 2001-04-03 | Institute For The Development Of Emerging Architectures, L.L.C. | Processor with apparatus for tracking prefetch and demand fetch instructions serviced by cache memory |
CN1604055A (zh) * | 2003-09-30 | 2005-04-06 | 国际商业机器公司 | 利用永久历史页表数据预取数据到高速缓存的装置和方法 |
CN103176914A (zh) * | 2011-11-18 | 2013-06-26 | 上海芯豪微电子有限公司 | 一种低缺失率、低缺失惩罚的缓存方法和装置 |
CN103513958A (zh) * | 2012-06-27 | 2014-01-15 | 上海芯豪微电子有限公司 | 高性能指令缓存系统和方法 |
CN103488578A (zh) * | 2012-12-28 | 2014-01-01 | 晶天电子(深圳)有限公司 | 虚拟存储设备(vmd)应用/驱动器 |
Also Published As
Publication number | Publication date |
---|---|
CN104156181A (zh) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9058112B2 (en) | Retrieving data in a storage system using thin provisioning | |
JP5651238B2 (ja) | ハイブリッド・メモリ・サーバにおけるデータ・アクセス管理 | |
KR101023883B1 (ko) | 고속 저장 장치를 캐쉬로 사용하는 스토리지 시스템 | |
CN102843396B (zh) | 一种分布式缓存系统中的数据写入及读取方法及装置 | |
CN107844269A (zh) | 一种基于一致性哈希的分层混合存储系统及方法 | |
KR102219845B1 (ko) | 어드레스를 압축하기 위한 방법 및 장치 | |
CN108647151A (zh) | 一种全闪系统元数据落盘方法、装置、设备及存储介质 | |
CN109766312A (zh) | 一种区块链存储方法、系统、装置及计算机可读存储介质 | |
CN104536903B (zh) | 一种按数据属性分类存放的混合存储方法及系统 | |
CN106537360A (zh) | 用于具有动态分区的共享高速缓存的方法和装置 | |
KR20120068765A (ko) | 메모리 관리 장치 | |
US10628318B2 (en) | Cache sector usage prediction | |
CN109697016A (zh) | 用于改进容器的存储性能的方法和装置 | |
CN103116552A (zh) | 用于在分布式存储系统中分配存储空间的方法和装置 | |
CN107066397A (zh) | 剖析缓存替换 | |
CN103888499A (zh) | 一种分布式对象处理的方法及系统 | |
CN103488685B (zh) | 一种基于分布式存储系统的碎片文件存储方法 | |
KR20160060550A (ko) | 효율적인 맵핑을 위한 페이지 캐시 장치 및 방법 | |
CN103198361B (zh) | 基于多种优化机制的xacml策略评估引擎系统 | |
CN110830561B (zh) | 一种异步网络环境下的多用户oram访问系统及方法 | |
CN107589908A (zh) | 一种基于固态盘缓存系统中非对齐更新数据的合并方法 | |
CN107229593A (zh) | 多片多核处理器的缓存一致性操作方法及多片多核处理器 | |
CN106802955A (zh) | 一种图片数据缓存方法 | |
CN110109845A (zh) | 缓存数据管理方法、装置、计算机设备及存储介质 | |
CN105446889B (zh) | 一种内存管理方法、装置以及内存控制器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |