CN112748881B - 一种面向虚拟化场景的存储容错方法和集群系统 - Google Patents

一种面向虚拟化场景的存储容错方法和集群系统 Download PDF

Info

Publication number
CN112748881B
CN112748881B CN202110055277.4A CN202110055277A CN112748881B CN 112748881 B CN112748881 B CN 112748881B CN 202110055277 A CN202110055277 A CN 202110055277A CN 112748881 B CN112748881 B CN 112748881B
Authority
CN
China
Prior art keywords
data
storage
scene
fault
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110055277.4A
Other languages
English (en)
Other versions
CN112748881A (zh
Inventor
周涛
冯禄明
姜猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Chaoyun Beijing Technology Co ltd
Original Assignee
Great Wall Chaoyun Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Chaoyun Beijing Technology Co ltd filed Critical Great Wall Chaoyun Beijing Technology Co ltd
Priority to CN202110055277.4A priority Critical patent/CN112748881B/zh
Publication of CN112748881A publication Critical patent/CN112748881A/zh
Application granted granted Critical
Publication of CN112748881B publication Critical patent/CN112748881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0667Virtualisation aspects at data level, e.g. file, record or object virtualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一种面向虚拟化场景的存储容错方法和集群系统,将虚拟化、数据保护、存储协议、CDP和数据存储集成融合,解决虚拟化场景存在数据读写卡、慢、易错的问题,增强虚拟化场景数据的读写效率和数据安全性。整套系统采用冗余架构,支持负载均衡机制,保障数据的物理安全和逻辑安全。容错模组为整体系统提供数据容错、数据恢复、逻辑保护支持,存储模组为整体系统提供数据物理安全保护。能够适用于各种数据中心虚拟化场景,解决其数据读写慢的问题,显著提高数据的正确、完整、可靠。本发明解决了数据丢失、错误的问题,提高了虚拟化场景的读写效率,又保障了数据的安全、完整和可用性。

Description

一种面向虚拟化场景的存储容错方法和集群系统
技术领域
本发明涉及存储架构领域,尤其涉及一种面向虚拟化场景的存储容错方法和集群系统。
背景技术
目前虚拟化技术已经在数据中心服务器中广泛应用,且承载着越来越多的业务,包括部分数据库、业务系统等,但虚拟化还存在数据读写性能低、文件数据易丢失或错误等问题;虽然可以通过外接磁盘阵列的方式解决数据读写性能低的问题,但仍存在数据丢失或错误的风险;通过分布式存储方式,解决数据错误、丢失的风险,但分布式存储存在价格高、维护复杂的缺陷。
发明内容
本发明的目的在于提供一种面向虚拟化场景的存储容错方法和集群系统,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种面向虚拟化场景的存储容错方法,包括以下步骤:
S1、对所述虚拟化场景数据进行读写,并进行数据验证,将通过验证的数据写入对应的缓存空间中;
S2、所述虚拟化场景数据读写完成后,向所述虚拟化场景发送数据读写应答,令所述虚拟化场景开始下一部分的数据读写;
S3、进行数据写入的同时,对所述虚拟化场景数据进行备份,并挂载至上一次备份的数据后;
S4、控制所述缓存空间中的所述虚拟化场景数据存储至存储节点,并删除所述缓存空间中已经在所述存储节点中完成存储的数据。
优选的,所述存储节点包括单节点和节点集群;所述节点集群中的所述存储节点之间通过负载均衡增强系统的高可用性。
优选的,所述缓存空间中可以同时写入一份以上所述虚拟化场景数据。
一种面向虚拟化场景的存储容错集群系统,包括容错模组和存储模组,所述容错模组与所述虚拟化场景进行数据交互,所述容错模组与所述存储模组通过光纤通道相连接;所述容错模组包括数据读写单元、数据缓存单元和控制管理单元;所述数据读写单元与所述控制管理单元相互连接,所述控制管理单元与所述数据缓存单元相互连接,所述控制管理单元与所述存储模组相互连接;所述数据读写单元将虚拟化场景数据读写至所述数据缓存单元中,通过所述控制管理单元将所述数据缓存单元中的所述虚拟化场景数据存储至所述存储模组。
优选的,所述数据缓存单元通过将所述虚拟化场景数据写入固态硬盘或高速盘中,加快数据读写速度。
优选的,所述数据缓存单元包括缓存主卷和缓存从卷;所述虚拟化场景数据写入所述数据缓存单元中的所述缓存主卷中,并在所述缓存从卷中复制,进行数据备份。
优选的,所述存储模组中可以仅存在单一的存储节点,也可以将一个以上所述存储节点进行集群化部署。
优选的,所述容错模组与所述虚拟化场景通过TCP/I P协议实现数据交互,所述容错模组与所述存储模组利用光纤通道进行连接,通过传输协议FC进行数据交互。
优选的,所数据缓存单元采用快照、克隆、数据复制、备份恢复和CDP的数据保护机制,对数据进行安全保护;所述数据读写单元通过自动精简、SSD加速和精简带宽技术,保障存储空间的最大化利用,且加快数据的读写速度。
本发明的有益效果是:本发明公开了一种面向虚拟化场景的存储容错方法和集群系统,通过对现有的存储架构进行改进,将虚拟化、数据保护、存储协议和CDP集成融合,解决虚拟化场景存在的问题,增强虚拟化场景数据的读写效率和数据安全性。对于系统中的冗余架构,支持负载均衡机制,保障数据的物理安全和逻辑安全。容错模组为整体系统提供数据容错、数据恢复、逻辑保护支持,存储模组为整体系统提供数据物理安全保护。能够适用于各种数据中心虚拟化场景,解决其数据读写慢的问题,显著提高数据的正确、完整、可靠。本发明既经济又能解决数据丢失、错误的技术,提高了虚拟化场景的读写效率,又保障了数据的安全、完整和可用性。
附图说明
图1是面向虚拟化场景的存储容错流程图;
图2是存储容错集群系统结构图;
图3是存储容错集群系统整体架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
一种面向虚拟化场景的存储容错方法,如图1所示,包括以下步骤:
S1、对所述虚拟化场景中的虚拟化场景数据进行读写,写入容错模块中进行数据缓存,所述容错单元进行数据读写验证,并按照设置的缓存配置方案将所述虚拟化场景数据写入对应的缓存空间中;
S2、所述容错单元中的数据写入完毕后,向所述虚拟化场景发送数据读写应答,令所述虚拟化场景能够及时开始下一部分的数据读写;
S3、所述容错单元进行数据写入的同时,对所述虚拟化场景数据进行备份,并挂载至上一次备份的数据后;
S4、控制所述容错单元的缓存空间中的所述虚拟化场景数据存储至相应的存储节点中,并及时删除所述缓存空间中已经在所述存储节点中完成存储的数据,不同的存储节点之间通过数据热迁移进行负载均衡和优化资源;
所述容错单元的缓存空间中添加固定硬盘或高速盘SSD缓存,通过自动精简、SSD加速和精简带宽等提升数据缓存速度,从而提升对所述虚拟化场景数据的读写速度。
一种面向虚拟化场景的存储容错集群系统,如图2所示,包括容错模组和存储模组;所述容错模组包括数据读写单元、数据缓存单元和控制管理单元;所述容错模组与所述虚拟化场景通过TCP/I P协议实现数据交互,所述容错模组与所述存储模组利用光纤通道进行连接,通过传输协议FC进行数据交互;所述数据读写单元与所述控制管理单元相互连接,所述控制管理单元与所述数据缓存单元相互连接,所述数据读写单元对所述虚拟化场景数据进行读写,并传输至所述控制管理单元,将所述虚拟化场景数据写入所述数据缓存单元中,所述数据读写单元可以同时对多份所述虚拟化场景数据进行同时读写;所述控制管理单元与所述存储模组相互连接,所述控制管理单元对数据存储的配置方案进行设置,所述控制管理单元按照所述配置方案,将所述数据缓存单元中写入的数据传输至所述存储模组中,同时存储至一个或一个以上的所述存储节点中,进行统一管理;并将所述数据缓存单元中已经存储进入所述存储模组中的数据及时删除。
所述数据缓存单元中设有数据保护机制,包括缓存主卷和缓存从卷;所述虚拟化场景数据写入所述数据缓存单元中的所述缓存主卷中,并在所述缓存从卷中复制,进行数据备份。在所述存储模组进行数据存储时,当所述数据缓存单元中的某个缓存节点出现故障时,通过备份的数据代替工作,保证所述虚拟化场景的业务连续、数据安全。
上述面向虚拟化场景的存储容错集群系统,整体架构如图3所示,所述容错模组与所述虚拟化场景之间进行数据交互,所述虚拟化场景数据写入所述容错模组中,并利用所述数据缓存单元进行缓存,当所述虚拟化场景数据写入完毕后,向所述虚拟化场景中回复读写操作完成应答;并且传输至所述存储模组中进行统一存储;所述容错模组中的所述数据缓存单元和所述存储模组中的存储节点均可以灵活扩展,可以仅存在单一的存储节点,也可以将多个所述存储节点进行集群化部署;并利用所述控制管理单元对写入的数据设置存储配置方案,灵活搭配所述容错模组和所述存储模组之间的所述存储节点,实现数据存储的灵活性。所述存储模组中的所述存储节点之间可以进行数据热迁移,当所述存储模组中的任意所述存储节点发生故障或资源占用过大时,自动进行负载均衡。
上述面向虚拟化场景的存储容错集群系统,进行数据存储时,所述容错模组中的所述数据读写单元可以将所述虚拟化场景数据写入所述容错模组自身的缓存空间、固态硬盘或高速盘中,实现数据的读写加速。
实施例
本实施例中量所述容错模组和所述存储模组集成为一体化的形态,在所述容错模组的所述数据读写单元设有TCP/I P传输控制协议、FC网络传输协议和I SCSI,实现数据交互;所数据缓存单元中采用快照、克隆、数据复制、备份恢复和CDP等多种数据保护机制,对数据进行安全保护;并支持自动精简、SSD加速和精简带宽等加速读写技术。
采用Li nux操作系统运行所述存储容错集群系统。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明公开了一种面向虚拟化场景的存储容错方法和集群系统,通过对现有的存储架构进行改进,将虚拟化、数据保护、存储协议和CDP集成融合,解决虚拟化场景存在的问题,增强虚拟化场景数据的读写效率和数据安全性。对于系统中的冗余架构,支持负载均衡机制,保障数据的物理安全和逻辑安全。容错模组为整体系统提供数据容错、数据恢复、逻辑保护支持,存储模组为整体系统提供数据物理安全保护。能够适用于各种数据中心虚拟化场景,解决其数据读写慢的问题,显著提高数据的正确、完整、可靠。本发明既经济又能解决数据丢失、错误的技术,提高了虚拟化场景的读写效率,又保障了数据的安全、完整和可用性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种面向虚拟化场景的存储容错方法,其特征在于,包括以下步骤:
S1、对虚拟化场景数据进行读写,并进行数据验证,将通过验证的数据写入对应的缓存空间中;
S2、所述虚拟化场景数据读写完成后,向所述虚拟化场景发送数据读写应答,令所述虚拟化场景开始下一部分的数据读写;
S3、进行数据写入的同时,对所述虚拟化场景数据进行备份,并挂载至上一次备份的数据后;
S4、控制所述缓存空间中的所述虚拟化场景数据存储至存储节点,并删除所述缓存空间中已经在所述存储节点中完成存储的数据;
面向虚拟化场景的存储容错方法采用面向虚拟化场景的存储容错集群系统实现,系统包括容错模组和存储模组,所述容错模组与所述虚拟化场景进行数据交互,所述容错模组与所述存储模组通过光纤通道相连接;所述容错模组包括数据读写单元、数据缓存单元和控制管理单元;所述数据读写单元与所述控制管理单元相互连接,所述控制管理单元与所述数据缓存单元相互连接,所述控制管理单元与所述存储模组相互连接;所述数据读写单元将虚拟化场景数据读写至所述数据缓存单元中,通过所述控制管理单元将所述数据缓存单元中的所述虚拟化场景数据存储至所述存储模组;
所述数据缓存单元通过将所述虚拟化场景数据写入固态硬盘或高速盘中,加快数据读写速度;
所数据缓存单元采用快照、克隆、数据复制、备份恢复和CDP的数据保护机制,对数据进行安全保护;所述数据读写单元通过自动精简、SSD加速和精简带宽技术,保障存储空间的最大化利用,且加快数据的读写速度。
2.根据权利要求1所述的面向虚拟化场景的存储容错方法,其特征在于,所述存储节点包括单节点和节点集群;所述节点集群中的所述存储节点之间通过负载均衡增强系统的高可用性。
3.根据权利要求1所述的面向虚拟化场景的存储容错方法,其特征在于,所述缓存空间中能够同时写入一份以上所述虚拟化场景数据。
4.根据权利要求1所述的面向虚拟化场景的存储容错方法,其特征在于,所述数据缓存单元包括缓存主卷和缓存从卷;所述虚拟化场景数据写入所述数据缓存单元中的所述缓存主卷中,并在所述缓存从卷中复制,进行数据备份。
5.根据权利要求1所述的面向虚拟化场景的存储容错方法,其特征在于,所述存储模组中能够仅存在单一的存储节点,也能够将一个以上所述存储节点进行集群化部署。
6.根据权利要求1所述的面向虚拟化场景的存储容错方法,其特征在于,所述容错模组与所述虚拟化场景通过TCP/IP协议实现数据交互,所述容错模组与所述存储模组利用光纤通道进行连接,通过传输协议FC进行数据交互。
CN202110055277.4A 2021-01-15 2021-01-15 一种面向虚拟化场景的存储容错方法和集群系统 Active CN112748881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055277.4A CN112748881B (zh) 2021-01-15 2021-01-15 一种面向虚拟化场景的存储容错方法和集群系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055277.4A CN112748881B (zh) 2021-01-15 2021-01-15 一种面向虚拟化场景的存储容错方法和集群系统

Publications (2)

Publication Number Publication Date
CN112748881A CN112748881A (zh) 2021-05-04
CN112748881B true CN112748881B (zh) 2024-02-20

Family

ID=75652053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055277.4A Active CN112748881B (zh) 2021-01-15 2021-01-15 一种面向虚拟化场景的存储容错方法和集群系统

Country Status (1)

Country Link
CN (1) CN112748881B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305213A (ja) * 2007-06-08 2008-12-18 Hitachi Ltd ストレージに関する方法、製品、装置、システム
KR20180037571A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 데이터 스토리지 방법 및 데이터센터 클러스터 캐싱 시스템의 동작 방법
CN110543788A (zh) * 2019-09-11 2019-12-06 腾讯科技(深圳)有限公司 数据存储方法、装置、计算机可读存储介质和计算机设备
CN110554834A (zh) * 2018-06-01 2019-12-10 阿里巴巴集团控股有限公司 文件系统数据访问方法和文件系统
JP2020095588A (ja) * 2018-12-14 2020-06-18 株式会社アール・アイ 仮想ファイル処理システム及び仮想ファイル処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7594072B2 (en) * 2006-09-15 2009-09-22 Hitachi, Ltd. Method and apparatus incorporating virtualization for data storage and protection
US9009724B2 (en) * 2010-09-24 2015-04-14 Hewlett-Packard Development Company, L.P. Load balancing data access in virtualized storage nodes
US20140115579A1 (en) * 2012-10-19 2014-04-24 Jonathan Kong Datacenter storage system
TWI510932B (zh) * 2013-12-27 2015-12-01 Wistron Corp 塊儲存閘道模組、儲存中介系統、雲端儲存系統、提供對塊儲存的存取的方法、儲存中介方法與內容遞送裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305213A (ja) * 2007-06-08 2008-12-18 Hitachi Ltd ストレージに関する方法、製品、装置、システム
KR20180037571A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 데이터 스토리지 방법 및 데이터센터 클러스터 캐싱 시스템의 동작 방법
CN110554834A (zh) * 2018-06-01 2019-12-10 阿里巴巴集团控股有限公司 文件系统数据访问方法和文件系统
JP2020095588A (ja) * 2018-12-14 2020-06-18 株式会社アール・アイ 仮想ファイル処理システム及び仮想ファイル処理プログラム
CN110543788A (zh) * 2019-09-11 2019-12-06 腾讯科技(深圳)有限公司 数据存储方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN112748881A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN102024044B (zh) 分布式文件系统
US9946655B2 (en) Storage system and storage control method
US9146684B2 (en) Storage architecture for server flash and storage array operation
US7971011B2 (en) Remote copy method and storage system
US6363462B1 (en) Storage controller providing automatic retention and deletion of synchronous back-up data
US6950915B2 (en) Data storage subsystem
CN103226502B (zh) 一种数据灾备控制系统及数据恢复方法
US11307776B2 (en) Method for accessing distributed storage system, related apparatus, and related system
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
CN101808127B (zh) 数据备份方法、系统和服务器
JP2006227964A (ja) ストレージシステム、処理方法及びプログラム
CN104424052A (zh) 一种自动冗余的分布式存储系统及方法
CN115167782B (zh) 临时存储副本管理方法、系统、设备和存储介质
WO2021088367A1 (zh) 数据恢复方法及相关设备
CN113885809B (zh) 数据管理系统及方法
US11194500B2 (en) Resilient implementation of client file operations and replication
CN116204137B (zh) 基于dpu的分布式存储系统、控制方法、装置及设备
CN112748881B (zh) 一种面向虚拟化场景的存储容错方法和集群系统
WO2022033269A1 (zh) 数据处理的方法、设备及系统
CN103414588A (zh) 一种vtl备份方法及vtl节点
CN113032186A (zh) 一种基于raid与ceph的数据存储方法及其系统
JP3614328B2 (ja) ミラーディスク制御装置
US9383938B2 (en) Method, system, and apparatus for re-conveying input/output operations utilizing a sequential-access data storage device secondary communication port
US11775175B2 (en) Storage system, storage management method, and storage management program
RU2810634C2 (ru) Способ повышения надежности систем хранения данных и соответствующее устройство

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant