CN107329907A - 一种存储虚拟化新型缓存同步实现方法 - Google Patents

一种存储虚拟化新型缓存同步实现方法 Download PDF

Info

Publication number
CN107329907A
CN107329907A CN201710539900.7A CN201710539900A CN107329907A CN 107329907 A CN107329907 A CN 107329907A CN 201710539900 A CN201710539900 A CN 201710539900A CN 107329907 A CN107329907 A CN 107329907A
Authority
CN
China
Prior art keywords
write
block
write buffer
cache
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710539900.7A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Kai Ya Electronic Technology Co Ltd
Original Assignee
Changsha Kai Ya Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Kai Ya Electronic Technology Co Ltd filed Critical Changsha Kai Ya Electronic Technology Co Ltd
Priority to CN201710539900.7A priority Critical patent/CN107329907A/zh
Publication of CN107329907A publication Critical patent/CN107329907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明专利涉及一种存储虚拟化新型缓存同步实现方法，该方法通过在两台存储虚拟化设备的缓存之间建立两条同步通道，以实现数据的物理链路传输，该方法对缓存采用读缓存、写缓存、写镜像缓存分区的方式来进行管理，而缓存同步主要是写缓存的同步，即a端的写缓存同步至b端的写镜像缓存，b的写缓存同步至a端的写镜像缓存，以达到缓存同步的效果。

Description

一种存储虚拟化新型缓存同步实现方法
技术领域
本发明专利涉及计算机存储领域。
背景技术
存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或/及服务的。
虚拟化技术到底是什么，其实广义上来说，就是通过映射或抽象的方式屏蔽物理设备复杂性,增加一个管理层面，激活一种资源并使之更易于透明控制。它可以有效简化基础设施的管理，增加IT资源的利用率和能力，比如服务器、网络或存储。
存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。
对于用户来说，虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘、磁带，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。
从管理的角度来看，虚拟存储池是采取集中化的管理，并根据具体的需求把存储资源动态地分配给各个应用。值得特别指出的是，利用虚拟化技术，可以用磁盘阵列模拟磁带库，为应用提供速度像磁盘一样快、容量却像磁带库一样大的存储资源，这就是当今应用越来越广泛的虚拟磁带库（VTL, Virtual Tape Library），在当今企业存储系统中扮演着越来越重要的角色。
将存储作为池子一样,存储空间如同一个流动的池子的水一样,可以任意地根据需要进行分配。
通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源及服务的。
发明专利内容
本发明专利涉及一种存储虚拟化新型缓存同步实现方法，该方法通过在两台存储虚拟化设备的缓存之间建立两条同步通道，以实现数据的物理链路传输，该方法对缓存采用读缓存、写缓存、写镜像缓存分区的方式来进行管理，而缓存同步主要是写缓存的同步，即a端的写缓存同步至b端的写镜像缓存，b的写缓存同步至a端的写镜像缓存，以达到缓存同步的效果。
该方法对写缓存和写缓存镜像采用划分小块的方式细化管理，即将写缓存和写镜像缓存划分为512KB大小的小块，a端的写缓存以IO为单位的数据实时传送数据至b端的写镜像缓存，如a端的写缓存超过一个512KB的块数据未同步至b端的写镜像缓存，则存储虚拟化管理会检测存储虚拟化集群的状态是否正常，这样可确保缓存数据最多只有512KB的数据未同步。
附图说明
图1为本发明专利的一种存储虚拟化新型缓存同步实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种存储虚拟化新型缓存同步实现方法结构示意图。
一种存储虚拟化新型缓存同步实现方法，其特征在于，所述方法包含a端至b端通道（10）、b端至a端通道（11）、读缓存a（12a）、读缓存b（12b）、写缓存a（13a）、写缓存b（13b）、写缓存块a（14a）、写缓存块b（14b）、写镜像缓存块a（15a）、写镜像缓存块b（15b），因读缓存丢失不会导致数据丢失，故读缓存a（12a）和读缓存b（12b）不镜像独立使用，写缓存a（13a）则划分为多个数量相同的写缓存块a（14a）和写镜像缓存块a（15a），写缓存b（13b）则划分为多个数量相同的写缓存块b（14b）和写镜像缓存块b（15b），写缓存块a（14a）通过a端至b端通道（10）将缓存数据同步至写镜像缓存块b（15b），写缓存块b（14b）通过b端至a端通道（11）将缓存数据同步至写镜像缓存块a（15a）。
一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法需要a端至b端通道（10）和b端至a端通道（11）两条或两条以上缓存数据同步通道，且必须为偶数，同时a端至b端通道（10）和b端至a端通道（11）可以是光纤或万兆以太网等通道。
一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法写缓存块a（14a）、写缓存块b（14b）、写镜像缓存块a（15a）和写镜像缓存块b（15b）都是划分为512KB的块，缓存数据同步是以IO数据为单位，但写缓存块a（14a）或写缓存块b（14b）中有一个512KB的块未同步，存储虚拟化管理会检测集群状态，以确保丢失数据最多不超过512KB的块。
一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法写缓存块a（14a）和写镜像缓存块b（15b）的缓存大小是相同的，写缓存块b（14b）和写镜像缓存块a（15a）的缓存大小是相同的。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种存储虚拟化新型缓存同步实现方法，其特征在于，所述方法包含a端至b端通道（10）、b端至a端通道（11）、读缓存a（12a）、读缓存b（12b）、写缓存a（13a）、写缓存b（13b）、写缓存块a（14a）、写缓存块b（14b）、写镜像缓存块a（15a）、写镜像缓存块b（15b），因读缓存丢失不会导致数据丢失，故读缓存a（12a）和读缓存b（12b）不镜像独立使用，写缓存a（13a）则划分为多个数量相同的写缓存块a（14a）和写镜像缓存块a（15a），写缓存b（13b）则划分为多个数量相同的写缓存块b（14b）和写镜像缓存块b（15b），写缓存块a（14a）通过a端至b端通道（10）将缓存数据同步至写镜像缓存块b（15b），写缓存块b（14b）通过b端至a端通道（11）将缓存数据同步至写镜像缓存块a（15a）。
2.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法需要a端至b端通道（10）和b端至a端通道（11）两条或两条以上缓存数据同步通道，且必须为偶数，同时a端至b端通道（10）和b端至a端通道（11）可以是光纤或万兆以太网等通道。
3.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法写缓存块a（14a）、写缓存块b（14b）、写镜像缓存块a（15a）和写镜像缓存块b（15b）都是划分为512KB的块，缓存数据同步是以IO数据为单位，但写缓存块a（14a）或写缓存块b（14b）中有一个512KB的块未同步，存储虚拟化管理会检测集群状态，以确保丢失数据最多不超过512KB的块。
4.根据权利要求1所述的一种存储虚拟化新型缓存同步实现方法，其特征在于，该方法写缓存块a（14a）和写镜像缓存块b（15b）的缓存大小是相同的，写缓存块b（14b）和写镜像缓存块a（15a）的缓存大小是相同的。
CN201710539900.7A 2017-07-05 2017-07-05 一种存储虚拟化新型缓存同步实现方法 Pending CN107329907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710539900.7A CN107329907A (zh) 2017-07-05 2017-07-05 一种存储虚拟化新型缓存同步实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710539900.7A CN107329907A (zh) 2017-07-05 2017-07-05 一种存储虚拟化新型缓存同步实现方法

Publications (1)

Publication Number Publication Date
CN107329907A true CN107329907A (zh) 2017-11-07

Family

ID=60195957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710539900.7A Pending CN107329907A (zh) 2017-07-05 2017-07-05 一种存储虚拟化新型缓存同步实现方法

Country Status (1)

Country Link
CN (1) CN107329907A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573857A (zh) * 2014-10-10 2016-05-11 北京计算机技术及应用研究所 一种多控磁盘阵列缓存镜像方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573857A (zh) * 2014-10-10 2016-05-11 北京计算机技术及应用研究所 一种多控磁盘阵列缓存镜像方法及系统

Similar Documents

Publication Publication Date Title
KR102457611B1 (ko) 터넌트-어웨어 스토리지 쉐어링 플랫폼을 위한 방법 및 장치
US10503639B2 (en) Cached volumes at storage gateways
US11144474B2 (en) Integration of application indicated maximum time to cache to least recently used track demoting schemes in a cache management system of a storage controller
US11157457B2 (en) File management in thin provisioning storage environments
US9268651B1 (en) Efficient recovery of storage gateway cached volumes
US9274956B1 (en) Intelligent cache eviction at storage gateways
US20200104385A1 (en) Sharing container images utilizing a distributed file system
US9559889B1 (en) Cache population optimization for storage gateways
US20170177224A1 (en) Dynamic storage transitions employing tiered range volumes
CN106095337A (zh) 一种基于san网络存储的云盘快速共享方法
EP3935513B1 (en) Efficient space management for high performance writable snapshots
CN107229415A (zh) 一种数据写方法、数据读方法及相关设备、系统
CN109582213A (zh) 数据重构方法及装置、数据存储系统
US20190057037A1 (en) Cache management based on types of i/o operations
Xu et al. Rethink the storage of virtual machine images in clouds
CN109302494A (zh) 一种网络存储系统的配置方法、装置、设备及介质
Yang et al. Tombolo: Performance enhancements for cloud storage gateways
CA3165142C (en) Virtual machine perfect forward secrecy
CN108153759A (zh) 一种分布式数据库的数据传输方法、中间层服务器及系统
US11169933B2 (en) Integration of application indicated maximum time to cache for a two-tiered cache management mechanism
CN107302495A (zh) 一种存储虚拟化网关新型虚拟映射方法
JP7431490B2 (ja) 階層型ストレージ管理システムにおけるデータ・マイグレーション
CN107329907A (zh) 一种存储虚拟化新型缓存同步实现方法
CN106649141A (zh) 一种基于ceph的存储交互装置及存储系统
CN107797769A (zh) 一种存储虚拟化系统缓存管理策略实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171107

WD01 Invention patent application deemed withdrawn after publication