CN107181826A - 一种新型集群存储缓存数据同步实现方法 - Google Patents

一种新型集群存储缓存数据同步实现方法 Download PDF

Info

Publication number
CN107181826A
CN107181826A CN201710575172.5A CN201710575172A CN107181826A CN 107181826 A CN107181826 A CN 107181826A CN 201710575172 A CN201710575172 A CN 201710575172A CN 107181826 A CN107181826 A CN 107181826A
Authority
CN
China
Prior art keywords
cluster
based storage
storage node
node
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710575172.5A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Kai Ya Electronic Technology Co Ltd
Original Assignee
Changsha Kai Ya Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Kai Ya Electronic Technology Co Ltd filed Critical Changsha Kai Ya Electronic Technology Co Ltd
Priority to CN201710575172.5A priority Critical patent/CN107181826A/zh
Publication of CN107181826A publication Critical patent/CN107181826A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本发明涉及一种新型集群存储缓存数据同步实现方法，该方法通过在集群存储间部署用于缓存数据同步的节点间同步网络，以建立集群存储节点间缓存数据同步的链路通道，而各集群存储节点内的写缓存又依据创建的集群卷或文件系统来划分缓存空间，使得每个集群存储节点上都会集群卷或文件系统的写缓存和写镜像缓存，且随着集群卷或文件系统的数量增加，集群卷或文件系统的写缓存和写镜像缓存会通过统一缓存管理算法均匀的分布于各们集群存储节点内。

Description

一种新型集群存储缓存数据同步实现方法
技术领域
本发明专利涉及计算机集群存储领域。
背景技术
集群存储是有别于传统的SAN和NAS的一种新的存储架构。传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储架构，而集群存储是主要面向文件级别的存储系统。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。一旦遇到存储系统的瓶颈，就会有两种选择：一是：采用硬件更加强大的单个存储系统；二是：采用若干个普通性能的存储系统来组成“存储的集群”。“集群”作为一项已被广泛使用的体系结构，如果采用到存储上组成“集群存储”，就可提供按比例增加的存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制。
一般集群存储扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。集群存储通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。
发明专利内容
本发明专利涉及一种新型集群存储缓存数据同步实现方法，该方法通过在集群存储间部署用于缓存数据同步的节点间同步网络，以建立集群存储节点间缓存数据同步的链路通道，而各集群存储节点内的写缓存又依据创建的集群卷或文件系统来划分缓存空间，使得每个集群存储节点上都会集群卷或文件系统的写缓存和写镜像缓存，且随着集群卷或文件系统的数量增加，集群卷或文件系统的写缓存和写镜像缓存会通过统一缓存管理算法均匀的分布于各们集群存储节点内。
该方法集群存储节点的写缓存和写镜像缓存是按512KB为大小进行划分，集群卷或文件系统的写缓存数据会依据业务访问数据大小进行实时同步至相应的写镜像缓存内，如集群卷或文件系统的写缓存数据超过512KB未完成同步，则集群存储系统会检测该集群卷或文件系统的副本集群存储节点的状态是否正常，如状态正常则会先同步完512KB的写缓存数据再进行业务访问数据下发至写缓存，如状态不正常则会踢掉副本集群存储节点进行单集群存储节点使用，集群存储管理系统进行报警，以修复副本集群存储节点。
附图说明
图1为本发明专利的一种新型集群存储缓存数据同步实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种新型集群存储缓存数据同步实现方法结构示意图。
一种新型集群存储缓存数据同步实现方法，其特征在于，所述方法包含集群存储节点间同步网络设备（10）、集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）、集群存储节点间同步网络线缆c（11c）、集群存储节点a（12a）、集群存储节点b（12b）、集群存储节点c（12c）、集群存储节点a缓存（15a）、集群存储节点b缓存（15b）、集群存储节点c缓存（15c）、集群存储节点a写缓存（13a）、集群存储节点b写缓存（13b）、集群存储节点c写缓存（13c）、集群存储节点a写镜像缓存（14a）、集群存储节点b写镜像缓存（14b）、集群存储节点c写镜像缓存（14c），集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）通过集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）和集群存储节点间同步网络线缆c（11c）连接至集群存储节点间同步网络设备（10）以建立缓存同步链路通道，集群存储节点a缓存（15a）划分为集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）、集群存储节点b缓存（15b）划分为集群存储节点b写缓存（13b）和集群存储节点b写镜像缓存（14b）、集群存储节点c缓存（15c）划分为集群存储节点c写缓存（13c）和集群存储节点c写镜像缓存（14c）。
一种新型集群存储缓存数据同步实现方法，其特征在于，该方法将集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）共3个集群存储节点组成的一个集群存储管理系统，而集群存储管理系统支持的集群存储节点为3~31个的奇数个数。
一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储管理系统创建的集群卷或文件系统如副本数为2，则缓存由集群存储节点a写缓存（13a）和集群存储节点b写镜像缓存（14b）组成，集群卷或文件系统的业务访问数据缓存到集群存储节点a写缓存（13a）的时候，同时会将集群存储节点a写缓存（13a）的缓存数据镜像一份至集群存储节点b写镜像缓存（14b）中，同时集群存储管理系统创建的集群卷或文件系统支持副本数2和3两种可选。
一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储节点a（12a）的集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）是按512KB为大小进行划分，如集群存储管理系统创建的集群卷或文件系统的集群存储节点a写缓存（13a）数据超过512KB未完成同步，则集群存储系统会检测该集群卷或文件系统的集群存储节点b（12b）的状态是否正常，如状态正常则会先同步完512KB的集群存储节点a写缓存（13a）数据再进行业务访问数据下发至集群存储节点a写缓存（13a），如状态不正常则会踢掉集群存储节点b（12b）进行集群存储节点a（12a）单集群存储节点使用，集群存储管理系统进行报警，以修复集群存储节点b（12b）。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种新型集群存储缓存数据同步实现方法，其特征在于，所述方法包含集群存储节点间同步网络设备（10）、集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）、集群存储节点间同步网络线缆c（11c）、集群存储节点a（12a）、集群存储节点b（12b）、集群存储节点c（12c）、集群存储节点a缓存（15a）、集群存储节点b缓存（15b）、集群存储节点c缓存（15c）、集群存储节点a写缓存（13a）、集群存储节点b写缓存（13b）、集群存储节点c写缓存（13c）、集群存储节点a写镜像缓存（14a）、集群存储节点b写镜像缓存（14b）、集群存储节点c写镜像缓存（14c），集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）通过集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）和集群存储节点间同步网络线缆c（11c）连接至集群存储节点间同步网络设备（10）以建立缓存同步链路通道，集群存储节点a缓存（15a）划分为集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）、集群存储节点b缓存（15b）划分为集群存储节点b写缓存（13b）和集群存储节点b写镜像缓存（14b）、集群存储节点c缓存（15c）划分为集群存储节点c写缓存（13c）和集群存储节点c写镜像缓存（14c）。
2.根据权利要求1所述的一种新型集群存储缓存数据同步实现方法，其特征在于，该方法将集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）共3个集群存储节点组成的一个集群存储管理系统，而集群存储管理系统支持的集群存储节点为3~31个的奇数个数。
3.根据权利要求1所述的一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储管理系统创建的集群卷或文件系统如副本数为2，则缓存由集群存储节点a写缓存（13a）和集群存储节点b写镜像缓存（14b）组成，集群卷或文件系统的业务访问数据缓存到集群存储节点a写缓存（13a）的时候，同时会将集群存储节点a写缓存（13a）的缓存数据镜像一份至集群存储节点b写镜像缓存（14b）中，同时集群存储管理系统创建的集群卷或文件系统支持副本数2和3两种可选。
4.根据权利要求1所述的一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储节点a（12a）的集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）是按512KB为大小进行划分，如集群存储管理系统创建的集群卷或文件系统的集群存储节点a写缓存（13a）数据超过512KB未完成同步，则集群存储系统会检测该集群卷或文件系统的集群存储节点b（12b）的状态是否正常，如状态正常则会先同步完512KB的集群存储节点a写缓存（13a）数据再进行业务访问数据下发至集群存储节点a写缓存（13a），如状态不正常则会踢掉集群存储节点b（12b）进行集群存储节点a（12a）单集群存储节点使用，集群存储管理系统进行报警，以修复集群存储节点b（12b）。
CN201710575172.5A 2017-07-14 2017-07-14 一种新型集群存储缓存数据同步实现方法 Pending CN107181826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710575172.5A CN107181826A (zh) 2017-07-14 2017-07-14 一种新型集群存储缓存数据同步实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710575172.5A CN107181826A (zh) 2017-07-14 2017-07-14 一种新型集群存储缓存数据同步实现方法

Publications (1)

Publication Number Publication Date
CN107181826A true CN107181826A (zh) 2017-09-19

Family

ID=59838540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710575172.5A Pending CN107181826A (zh) 2017-07-14 2017-07-14 一种新型集群存储缓存数据同步实现方法

Country Status (1)

Country Link
CN (1) CN107181826A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946275A (zh) * 2020-07-15 2022-01-18 中移(苏州)软件技术有限公司 一种缓存管理方法及装置、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291347A (zh) * 2008-06-06 2008-10-22 中国科学院计算技术研究所 一种网络存储系统
CN103577125A (zh) * 2013-11-22 2014-02-12 浪潮(北京)电子信息产业有限公司 一种应用于高端磁盘阵列的跨控制器组写镜像方法和装置
CN105573857A (zh) * 2014-10-10 2016-05-11 北京计算机技术及应用研究所 一种多控磁盘阵列缓存镜像方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291347A (zh) * 2008-06-06 2008-10-22 中国科学院计算技术研究所 一种网络存储系统
CN103577125A (zh) * 2013-11-22 2014-02-12 浪潮(北京)电子信息产业有限公司 一种应用于高端磁盘阵列的跨控制器组写镜像方法和装置
CN105573857A (zh) * 2014-10-10 2016-05-11 北京计算机技术及应用研究所 一种多控磁盘阵列缓存镜像方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946275A (zh) * 2020-07-15 2022-01-18 中移(苏州)软件技术有限公司 一种缓存管理方法及装置、存储介质
CN113946275B (zh) * 2020-07-15 2024-04-09 中移(苏州)软件技术有限公司 一种缓存管理方法及装置、存储介质

Similar Documents

Publication Publication Date Title
US10503639B2 (en) Cached volumes at storage gateways
Islam et al. Triple-H: A hybrid approach to accelerate HDFS on HPC clusters with heterogeneous storage architecture
US9454533B2 (en) Reducing metadata in a write-anywhere storage system
CN104243425B (zh) 一种在内容分发网络中进行内容管理的方法、装置及系统
Dong et al. A novel approach to improving the efficiency of storing and accessing small files on hadoop: a case study by powerpoint files
US9268651B1 (en) Efficient recovery of storage gateway cached volumes
US9274956B1 (en) Intelligent cache eviction at storage gateways
US9559889B1 (en) Cache population optimization for storage gateways
CN106503051B (zh) 一种基于元数据分类的贪婪预取型数据恢复系统及恢复方法
US20080295118A1 (en) Universal user input/output application layers
CN108156267A (zh) 一种雾计算架构中使用缓存改善网站访问时延的方法和系统
CN103503414A (zh) 一种计算存储融合的集群系统
CN106959996B (zh) 一种基于互联网电视的后台数据同步方法
KR20080068687A (ko) 대용량 데이터베이스와 인터페이스하기 위한 다 계층소프트웨어 시스템에서 캐쉬 콘텐츠의 일관성을 유지하는시스템 및 방법
CN103270499B (zh) 日志存储方法及系统
CN106095337A (zh) 一种基于san网络存储的云盘快速共享方法
CN103595799B (zh) 一种实现分布式共享数据库的方法
US20230359374A1 (en) Method and System for Dynamic Storage Scaling
Dong et al. Correlation based file prefetching approach for hadoop
Xu et al. Rethink the storage of virtual machine images in clouds
Yang et al. Tombolo: Performance enhancements for cloud storage gateways
Islam et al. Efficient data access strategies for Hadoop and Spark on HPC cluster with heterogeneous storage
CN101377788B (zh) 一种机群文件系统中缓存管理的方法及系统
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
CN107181826A (zh) 一种新型集群存储缓存数据同步实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170919