CN107329907A - 一种存储虚拟化新型缓存同步实现方法 - Google Patents
一种存储虚拟化新型缓存同步实现方法 Download PDFInfo
- Publication number
- CN107329907A CN107329907A CN201710539900.7A CN201710539900A CN107329907A CN 107329907 A CN107329907 A CN 107329907A CN 201710539900 A CN201710539900 A CN 201710539900A CN 107329907 A CN107329907 A CN 107329907A
- Authority
- CN
- China
- Prior art keywords
- write
- block
- write buffer
- cache
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明专利涉及一种存储虚拟化新型缓存同步实现方法,该方法通过在两台存储虚拟化设备的缓存之间建立两条同步通道,以实现数据的物理链路传输,该方法对缓存采用读缓存、写缓存、写镜像缓存分区的方式来进行管理,而缓存同步主要是写缓存的同步,即a端的写缓存同步至b端的写镜像缓存,b的写缓存同步至a端的写镜像缓存,以达到缓存同步的效果。
Description
技术领域
本发明专利涉及计算机存储领域。
背景技术
存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个)目标(Target)服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或/及服务的。
虚拟化技术到底是什么,其实广义上来说,就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面,激活一种资源并使之更易于透明控制。它可以有效简化基础设施的管理,增加IT资源的利用率和能力,比如服务器、网络或存储。
存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。
对于用户来说,虚拟化的存储资源就像是一个巨大的“存储池”,用户不会看到具体的磁盘、磁带,也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。
从管理的角度来看,虚拟存储池是采取集中化的管理,并根据具体的需求把存储资源动态地分配给各个应用。值得特别指出的是,利用虚拟化技术,可以用磁盘阵列模拟磁带库,为应用提供速度像磁盘一样快、容量却像磁带库一样大的存储资源,这就是当今应用越来越广泛的虚拟磁带库(VTL, Virtual Tape Library),在当今企业存储系统中扮演着越来越重要的角色。
将存储作为池子一样,存储空间如同一个流动的池子的水一样,可以任意地根据需要进行分配。
通过将一个(或多个)目标(Target)服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源及服务的。
发明专利内容
本发明专利涉及一种存储虚拟化新型缓存同步实现方法,该方法通过在两台存储虚拟化设备的缓存之间建立两条同步通道,以实现数据的物理链路传输,该方法对缓存采用读缓存、写缓存、写镜像缓存分区的方式来进行管理,而缓存同步主要是写缓存的同步,即a端的写缓存同步至b端的写镜像缓存,b的写缓存同步至a端的写镜像缓存,以达到缓存同步的效果。
该方法对写缓存和写缓存镜像采用划分小块的方式细化管理,即将写缓存和写镜像缓存划分为512KB大小的小块,a端的写缓存以IO为单位的数据实时传送数据至b端的写镜像缓存,如a端的写缓存超过一个512KB的块数据未同步至b端的写镜像缓存,则存储虚拟化管理会检测存储虚拟化集群的状态是否正常,这样可确保缓存数据最多只有512KB的数据未同步。
附图说明
图1为本发明专利的一种存储虚拟化新型缓存同步实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明专利进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明专利,并不用于限定本发明专利。
请参阅图1,图1为本发明专利的一种存储虚拟化新型缓存同步实现方法结构示意图。
一种存储虚拟化新型缓存同步实现方法,其特征在于,所述方法包含a端至b端通道(10)、b端至a端通道(11)、读缓存a(12a)、读缓存b(12b)、写缓存a(13a)、写缓存b(13b)、写缓存块a(14a)、写缓存块b(14b)、写镜像缓存块a(15a)、写镜像缓存块b(15b),因读缓存丢失不会导致数据丢失,故读缓存a(12a)和读缓存b(12b)不镜像独立使用,写缓存a(13a)则划分为多个数量相同的写缓存块a(14a)和写镜像缓存块a(15a),写缓存b(13b)则划分为多个数量相同的写缓存块b(14b)和写镜像缓存块b(15b),写缓存块a(14a)通过a端至b端通道(10)将缓存数据同步至写镜像缓存块b(15b),写缓存块b(14b)通过b端至a端通道(11)将缓存数据同步至写镜像缓存块a(15a)。
一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法需要a端至b端通道(10)和b端至a端通道(11)两条或两条以上缓存数据同步通道,且必须为偶数,同时a端至b端通道(10)和b端至a端通道(11)可以是光纤或万兆以太网等通道。
一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法写缓存块a(14a)、写缓存块b(14b)、写镜像缓存块a(15a)和写镜像缓存块b(15b)都是划分为512KB的块,缓存数据同步是以IO数据为单位,但写缓存块a(14a)或写缓存块b(14b)中有一个512KB的块未同步,存储虚拟化管理会检测集群状态,以确保丢失数据最多不超过512KB的块。
一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法写缓存块a(14a)和写镜像缓存块b(15b)的缓存大小是相同的,写缓存块b(14b)和写镜像缓存块a(15a)的缓存大小是相同的。
以上所述仅为本发明专利的较佳实施例而已,并不用以限制本发明专利,凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明专利的保护范围之内。
Claims (4)
1.一种存储虚拟化新型缓存同步实现方法,其特征在于,所述方法包含a端至b端通道(10)、b端至a端通道(11)、读缓存a(12a)、读缓存b(12b)、写缓存a(13a)、写缓存b(13b)、写缓存块a(14a)、写缓存块b(14b)、写镜像缓存块a(15a)、写镜像缓存块b(15b),因读缓存丢失不会导致数据丢失,故读缓存a(12a)和读缓存b(12b)不镜像独立使用,写缓存a(13a)则划分为多个数量相同的写缓存块a(14a)和写镜像缓存块a(15a),写缓存b(13b)则划分为多个数量相同的写缓存块b(14b)和写镜像缓存块b(15b),写缓存块a(14a)通过a端至b端通道(10)将缓存数据同步至写镜像缓存块b(15b),写缓存块b(14b)通过b端至a端通道(11)将缓存数据同步至写镜像缓存块a(15a)。
2.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法需要a端至b端通道(10)和b端至a端通道(11)两条或两条以上缓存数据同步通道,且必须为偶数,同时a端至b端通道(10)和b端至a端通道(11)可以是光纤或万兆以太网等通道。
3.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法写缓存块a(14a)、写缓存块b(14b)、写镜像缓存块a(15a)和写镜像缓存块b(15b)都是划分为512KB的块,缓存数据同步是以IO数据为单位,但写缓存块a(14a)或写缓存块b(14b)中有一个512KB的块未同步,存储虚拟化管理会检测集群状态,以确保丢失数据最多不超过512KB的块。
4.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法,其特征在于,该方法写缓存块a(14a)和写镜像缓存块b(15b)的缓存大小是相同的,写缓存块b(14b)和写镜像缓存块a(15a)的缓存大小是相同的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710539900.7A CN107329907A (zh) | 2017-07-05 | 2017-07-05 | 一种存储虚拟化新型缓存同步实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710539900.7A CN107329907A (zh) | 2017-07-05 | 2017-07-05 | 一种存储虚拟化新型缓存同步实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107329907A true CN107329907A (zh) | 2017-11-07 |
Family
ID=60195957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710539900.7A Pending CN107329907A (zh) | 2017-07-05 | 2017-07-05 | 一种存储虚拟化新型缓存同步实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107329907A (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105573857A (zh) * | 2014-10-10 | 2016-05-11 | 北京计算机技术及应用研究所 | 一种多控磁盘阵列缓存镜像方法及系统 |
-
2017
- 2017-07-05 CN CN201710539900.7A patent/CN107329907A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105573857A (zh) * | 2014-10-10 | 2016-05-11 | 北京计算机技术及应用研究所 | 一种多控磁盘阵列缓存镜像方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11068395B2 (en) | Cached volumes at storage gateways | |
KR102457611B1 (ko) | 터넌트-어웨어 스토리지 쉐어링 플랫폼을 위한 방법 및 장치 | |
CN108228082B (zh) | 存储系统和用于存储控制的方法 | |
US11144474B2 (en) | Integration of application indicated maximum time to cache to least recently used track demoting schemes in a cache management system of a storage controller | |
US11157457B2 (en) | File management in thin provisioning storage environments | |
CN106687911B (zh) | 不损害数据完整性的在线数据移动 | |
US9268651B1 (en) | Efficient recovery of storage gateway cached volumes | |
US9274956B1 (en) | Intelligent cache eviction at storage gateways | |
CN102255962B (zh) | 一种分布式存储方法、装置和系统 | |
US9559889B1 (en) | Cache population optimization for storage gateways | |
US20170177224A1 (en) | Dynamic storage transitions employing tiered range volumes | |
CN106095337A (zh) | 一种基于san网络存储的云盘快速共享方法 | |
CN103503414A (zh) | 一种计算存储融合的集群系统 | |
CN113826065B (zh) | 高性能可写快照的高效空间管理 | |
US11494309B2 (en) | Cache management based on types of I/O operations | |
CN109582213A (zh) | 数据重构方法及装置、数据存储系统 | |
CN104050102A (zh) | 一种电信系统中的对象存储方法及装置 | |
CN109302494A (zh) | 一种网络存储系统的配置方法、装置、设备及介质 | |
Yang et al. | Tombolo: Performance enhancements for cloud storage gateways | |
CA3165142C (en) | Virtual machine perfect forward secrecy | |
US11169933B2 (en) | Integration of application indicated maximum time to cache for a two-tiered cache management mechanism | |
CN107302495A (zh) | 一种存储虚拟化网关新型虚拟映射方法 | |
CN107329907A (zh) | 一种存储虚拟化新型缓存同步实现方法 | |
CN106649141A (zh) | 一种基于ceph的存储交互装置及存储系统 | |
CN107797769A (zh) | 一种存储虚拟化系统缓存管理策略实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171107 |
|
WD01 | Invention patent application deemed withdrawn after publication |