CN105468297A - 一种云存储系统内主从设备数据快速同步的方法 - Google Patents

一种云存储系统内主从设备数据快速同步的方法 Download PDF

Info

Publication number
CN105468297A
CN105468297A CN201510795567.7A CN201510795567A CN105468297A CN 105468297 A CN105468297 A CN 105468297A CN 201510795567 A CN201510795567 A CN 201510795567A CN 105468297 A CN105468297 A CN 105468297A
Authority
CN
China
Prior art keywords
data
write operation
storage system
synchronization
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510795567.7A
Other languages
English (en)
Inventor
王海峰
刘海涛
王瑾
曹云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linyi University
Original Assignee
Linyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linyi University filed Critical Linyi University
Priority to CN201510795567.7A priority Critical patent/CN105468297A/zh
Publication of CN105468297A publication Critical patent/CN105468297A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云存储系统内主从设备数据快速同步的方法，采用数据读写操作日志分离方法；使用局部时间片延迟提交同步操作的技术；为了解决延迟同步时主存储设备发生故障对数据可靠性的影响，本发明还提供了针对于此分布式存储系统的更新和查询方法。为提高云存储的性能和可靠性提供基本的技术支持。实现云存储系统中主存储设备和辅助存储设备之间高效的数据同步。改善并优化现有操作日志同步方法的弊端，克服大量并发写操作引起的数据同步瓶颈，提高云存储系统的数据可靠性。

Description

一种云存储系统内主从设备数据快速同步的方法
技术领域
本发明涉及云存储系统中数据可靠性技术，具体地说，涉及一种云存储系统内主从设备数据快速同步的方法。
背景技术
云存储系统是一种典型的分布式存储系统，用户的存储请求由主存储器来处理，主存储设备处于工作状态。为了保证云存储系统的可靠性，采用辅助存储器设备一直保持热备份状态，当主存储设备出现故障时辅助存储器代替主存储器，由热备状态切换到工作状态。因此，在云存储系统中主存储器与辅助存储直接的数据应该保存严格的一致性，否则当故障发生时就会出现丢失用户数据的严重损失。
现有云存储系统中主存储器和辅助存储器直接数据同步采用操作日志同步技术，用户对主存储器的数据存取请求操作以日志的方式记录下来，同时对辅助存储器也进行相同的数据存取，特别是对数据的写操作等改变数据的操作。但是现有数据同步操作技术经常会出现写操作瓶颈，导致主从存储器直接数据同步效率很低，严重时会大大降低云存储系统的性能和可靠性。
发明内容
为了克服现有技术中存在的缺陷，本发明提出了一种云存储系统内主从设备数据快速同步的方法，本发明还提供了针对于此分布式存储系统的更新和查询方法。为提高云存储的性能和可靠性提供基本的技术支持。实现云存储系统中主存储设备和辅助存储设备之间高效的数据同步。改善并优化现有操作日志同步方法的弊端，克服大量并发写操作引起的数据同步瓶颈，提高云存储系统的数据可靠性。
其技术方案如下：
一种云存储系统内主从设备数据快速同步的方法，包括以下步骤：
第一步，采用数据读写操作日志分离方法。首先把数据操作分为读和写两大类，分别建立读操作日志和写操作日志。由于读操作不涉及数据同步问题，因此忽略读操作日志重点考虑写操作引起的数据不一致。其次，专门为写操作建立一个线程池来调度CPU资源来实现独立的写操作运算，从技术角度使用可缓冲线程池来处理大量用户的写操作数据同步，可缓冲线程池能够根据用户负载的大小动态调整处理线程的数量，提高了云存储系统的资源利用率。
第二步，使用局部时间片延迟提交同步操作的技术。对于大量用户的写数据操作，以一个固定时间窗为单位选择该时间片内的所有写操作一起完成数据同步。也就是当有写操作出现时并不是立即对辅助存储设备进行数据同步，而是把一个时间片的所有写操作集中进行同步处理，这样避免了大量的硬盘寻道时间。
第三步，为了解决延迟同步时主存储设备发生故障对数据可靠性的影响，对局部时间片延迟周期中的用户请求提供事务回滚服务。当用户提交的写操作请求处于延迟时间片内，而此时主存储器设备又发生了故障需要切换辅助存储器，那么该延迟时间片内所有的用户写操作全部退回用户，需要重新发起请求。总之，这种延迟时间片内回滚服务仅仅为了避免极端故障出现，对用户的云存储服务造成一定的负面影响。
本发明的有益效果为：
本发明针使得系统具有高可用性、高查询并行度、和大数据容量的管理和扩展能力，并能够有效降低管理和维护成本。
具体实施方式
下面结合具体实施方式对本发明的技术方案作进一步详细地说明。
本发明在仿真实验环境中进行测试，仿真环境中有40个存储节点的分布式集群系统，其中一个主存储服务器，一个辅助存储服务器。然后利用随机算法模拟用户的读写数据请求，以泊松分布构造请求模型来产生200次/分钟的负载压力，然后逐渐增加写请求的负载压力，并测试主存储器和辅助存储器直接数据同步延迟(毫秒为单位)，对比未使用该方法和使用该方法的时间来验证发明的有效性。测试结果如表1所示：
表1数据同步性能对比表
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (1)

1.一种云存储系统内主从设备数据快速同步的方法，其特征在于，包括以下步骤：
第一步，采用数据读写操作日志分离方法；首先把数据操作分为读和写两大类，分别建立读操作日志和写操作日志；读操作不涉及数据同步问题，忽略读操作日志重点考虑写操作引起的数据不一致；其次，专门为写操作建立一个线程池来调度CPU资源来实现独立的写操作运算，从技术角度使用可缓冲线程池来处理大量用户的写操作数据同步，可缓冲线程池能够根据用户负载的大小动态调整处理线程的数量，提高了云存储系统的资源利用率；
第二步，使用局部时间片延迟提交同步操作的技术；对于大量用户的写数据操作，以一个固定时间窗为单位选择该时间片内的所有写操作一起完成数据同步；也就是当有写操作出现时并不是立即对辅助存储设备进行数据同步，而是把一个时间片的所有写操作集中进行同步处理，这样避免了大量的硬盘寻道时间；
第三步，为了解决延迟同步时主存储设备发生故障对数据可靠性的影响，对局部时间片延迟周期中的用户请求提供事务回滚服务；当用户提交的写操作请求处于延迟时间片内，而此时主存储器设备又发生了故障需要切换辅助存储器，那么该延迟时间片内所有的用户写操作全部退回用户，需要重新发起请求。
CN201510795567.7A 2015-11-18 2015-11-18 一种云存储系统内主从设备数据快速同步的方法 Pending CN105468297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510795567.7A CN105468297A (zh) 2015-11-18 2015-11-18 一种云存储系统内主从设备数据快速同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510795567.7A CN105468297A (zh) 2015-11-18 2015-11-18 一种云存储系统内主从设备数据快速同步的方法

Publications (1)

Publication Number Publication Date
CN105468297A true CN105468297A (zh) 2016-04-06

Family

ID=55606050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510795567.7A Pending CN105468297A (zh) 2015-11-18 2015-11-18 一种云存储系统内主从设备数据快速同步的方法

Country Status (1)

Country Link
CN (1) CN105468297A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220033A (zh) * 2017-07-05 2017-09-29 百度在线网络技术（北京）有限公司 用于控制线程池中线程数量的方法和装置
CN108920095A (zh) * 2018-06-06 2018-11-30 深圳市脉山龙信息技术股份有限公司 一种基于crush的数据存储优化方法和装置
CN109062513A (zh) * 2018-08-06 2018-12-21 郑州云海信息技术有限公司 一种控制处理写操作的方法及装置
CN109597690A (zh) * 2018-11-14 2019-04-09 浙江远算云计算有限公司 一种高性能云计算云爆发同步机制
CN109783243A (zh) * 2018-12-28 2019-05-21 南京华飞数据技术有限公司 一种基于正副本切换的多线程数据无锁读写方法
CN111314479A (zh) * 2016-06-20 2020-06-19 阿里巴巴集团控股有限公司 一种数据处理方法和设备
WO2021143039A1 (zh) * 2020-01-13 2021-07-22 上海依图网络科技有限公司 一种确定分布式存储系统中的数据回滚时段的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622426A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 数据库写入系统及方法
CN104077420A (zh) * 2014-07-21 2014-10-01 北京京东尚科信息技术有限公司 一种数据导入HBase数据库的方法和装置
US9092159B1 (en) * 2013-04-30 2015-07-28 Emc Corporation Object classification and identification from raw data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622426A (zh) * 2012-02-27 2012-08-01 杭州闪亮科技有限公司 数据库写入系统及方法
US9092159B1 (en) * 2013-04-30 2015-07-28 Emc Corporation Object classification and identification from raw data
CN104077420A (zh) * 2014-07-21 2014-10-01 北京京东尚科信息技术有限公司 一种数据导入HBase数据库的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314479A (zh) * 2016-06-20 2020-06-19 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN111314479B (zh) * 2016-06-20 2022-08-23 北京奥星贝斯科技有限公司 一种数据处理方法和设备
CN107220033A (zh) * 2017-07-05 2017-09-29 百度在线网络技术（北京）有限公司 用于控制线程池中线程数量的方法和装置
CN108920095A (zh) * 2018-06-06 2018-11-30 深圳市脉山龙信息技术股份有限公司 一种基于crush的数据存储优化方法和装置
CN108920095B (zh) * 2018-06-06 2021-06-29 深圳市脉山龙信息技术股份有限公司 一种基于crush的数据存储优化方法和装置
CN109062513A (zh) * 2018-08-06 2018-12-21 郑州云海信息技术有限公司 一种控制处理写操作的方法及装置
CN109062513B (zh) * 2018-08-06 2021-10-15 郑州云海信息技术有限公司 一种控制处理写操作的方法及装置
CN109597690A (zh) * 2018-11-14 2019-04-09 浙江远算云计算有限公司 一种高性能云计算云爆发同步机制
CN109783243A (zh) * 2018-12-28 2019-05-21 南京华飞数据技术有限公司 一种基于正副本切换的多线程数据无锁读写方法
WO2021143039A1 (zh) * 2020-01-13 2021-07-22 上海依图网络科技有限公司 一种确定分布式存储系统中的数据回滚时段的方法

Similar Documents

Publication Publication Date Title
CN105468297A (zh) 一种云存储系统内主从设备数据快速同步的方法
CN103116661B (zh) 一种数据库的数据处理方法
CN106066890B (zh) 一种分布式高性能数据库一体机系统
CN104361030A (zh) 一种具有任务分发功能的分布式缓存架构及缓存方法
CN103530388A (zh) 一种云存储系统中提升性能的数据处理方法
CN104077380B (zh) 一种重复数据删除方法、装置及系统
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
CN103873559A (zh) 一种高速存储的数据库一体机
CN103744906A (zh) 一种数据同步系统、方法及装置
CN104965850A (zh) 一种基于开源技术的数据库高可用实现方法
CN104111804A (zh) 一种分布式文件系统
CN105701190A (zh) 一种数据同步的方法和装置
CN103516549A (zh) 一种基于共享对象存储的文件系统元数据日志机制
WO2022199027A1 (zh) 一种随机写的方法、电子设备及存储介质
WO2012101540A1 (en) Application recovery in file system
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
WO2023116419A1 (zh) 数据同步方法、设备及计算机可读存储介质
CN103617195A (zh) 一种用于MySQL数据库的数据同步系统和方法
US20160267015A1 (en) Mapping virtual memory pages to physical memory pages
CN106951456B (zh) 一种内存数据库系统及数据处理系统
US7496724B2 (en) Load balancing in a mirrored storage system
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN103209219A (zh) 一种分布式集群文件系统
CN103744626A (zh) 一种基于内存替换进行数据写入的方法
CN105871987A (zh) 数据写入的高可用系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160406