CN103177006B - 一种数据存储系统及其更新存储容量的方法 - Google Patents

一种数据存储系统及其更新存储容量的方法 Download PDF

Info

Publication number
CN103177006B
CN103177006B CN201110433473.7A CN201110433473A CN103177006B CN 103177006 B CN103177006 B CN 103177006B CN 201110433473 A CN201110433473 A CN 201110433473A CN 103177006 B CN103177006 B CN 103177006B
Authority
CN
China
Prior art keywords
data
memory
storage
merger
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110433473.7A
Other languages
English (en)
Other versions
CN103177006A (zh
Inventor
胡毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING KUNLUN TECH Co Ltd
Original Assignee
BEIJING KUNLUN TECH Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING KUNLUN TECH Co Ltd filed Critical BEIJING KUNLUN TECH Co Ltd
Priority to CN201110433473.7A priority Critical patent/CN103177006B/zh
Publication of CN103177006A publication Critical patent/CN103177006A/zh
Application granted granted Critical
Publication of CN103177006B publication Critical patent/CN103177006B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据存储系统及其更新存储容量的方法。该系统包括第一内存存储单元,归并存储单元,硬盘存储单元和第二内存存储单元;所述第一内存存储单元用于存储活跃数据,在系统更新存储容量时,将所述活跃数据导入所述第二内存存储单元,所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的存储容量状态。归并存储单元监控并获取第一内存存储单元的数据变动,并定期向硬盘存储单元写入获取的数据。本发明实施例所提供的数据存储系统实现了存储容量的动态更新,在更新存储容量时无需停止对外服务。

Description

一种数据存储系统及其更新存储容量的方法
技术领域
本发明涉及数据存储领域,更具体地说,涉及一种数据存储系统及其更新存储容量的方法。
背景技术
目前,为了能够更好地处理大规模业务,往往要求系统具备高扩展性,因此更新数据存储系统的容量便成了频繁的操作,如扩容(增加数据存储系统的存储数量)和缩容(减少数据存储系统的存储数量)。常规的数据存储系统其活跃数据与非活跃数据混合存储,其中,活跃数据为当前正在使用的数据,非活跃数据为长期没有被访问的数据,并且在更新存储容量时,是在原有存储的基础上进行存储数量的增删,这就造成在数据存储系统扩容时,当前工作的存储需停止对外服务,以将其数据迁移到新增的存储中;在缩容时,当前工作的被缩容存储需停止对外服务以将其数据迁移出。
可以看出,现有的数据存储系统在更新存储容量时需停止对外服务,需等存储容量更新完成后再开启服务,这样的更新存储容量方式严重影响系统的服务质量。
发明内容
有鉴于此,本发明提供一种数据存储系统及其更新存储容量的方法,以解决现有的数据存储系统在更新存储容量时,需要停止对外服务的问题,实现存储容量的动态更新。
为实现上述目的,本发明提供如下技术方案:
一种数据存储系统,包括:
存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据,并在所述数据存储系统更新存储容量时,导出所述活跃数据的第一内存存储单元;
与所述第一内存存储单元相连,用于接收并存储所述第一内存存储单元上传的数据,并定期上传所述数据的归并存储单元,所述归并存储单元监控并获取所述第一内存存储单元内的数据变动;
与所述归并存储单元相连,用于接收所述归并存储单元上传的数据,并永久存储所述数据的硬盘存储单元;
与所述第一内存存储单元相连,用于在所述数据存储系统更新存储容量时,接收所述第一内存存储单元导出的活跃数据的第二内存存储单元;
所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态;所述第二内存存储单元在所述数据存储系统完成更新存储容量后,存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据。
优选的,所述数据存储系统还包括:
与所述第一内存存储单元相连,用于在所述第一内存存储单元崩溃后,存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据,并在所述数据存储系统更新存储容量时,导出所述活跃数据的第一内存存储从单元。
优选的,所述硬盘存储单元将其存储的所述第一内存存储单元存储的数据,导入所述第一内存存储从单元。
优选的,所述数据存储系统还包括:与归并存储单元相连的第一归并存储从单元,所述第一归并存储从单元内存储的数据与所述归并存储单元内存储的数据相等同;
所述第一归并存储从单元,用于在所述归并存储单元崩溃后,接收所述第一内存存储单元上传的数据,并定期向所述硬盘存储单元上传所述数据。
优选的,所述归并存储从单元,还用于在所述归并存储单元向所述硬盘存储单元上传数据时,接收所述第一内存存储单元上传的数据;所述归并存储单元在完成数据上传后,恢复对所述第一内存存储单元上传数据的接收。
优选的,所述数据存储系统还包括:第二归并存储从单元,用于在所述归并存储单元恢复对所述第一内存存储单元上传数据的接收后,替代所述第一归并存储从单元的工作,所述第一归并存储从单元失效。
优选的,所述第一内存存储单元包括多个内存存储子单元,所述归并存储单元包括多个归并存储子单元,所述第一内存存储单元内的多个内存存储子单元,与所述归并存储单元内的一个归并存储子单元保持映射关系。
优选的,所述数据存储系统还包括:
配置单元,用于记录并存储所述数据存储系统的当前配置信息,监控所述数据存储系统的工作状态。
本发明还提供一种数据存储系统更新存储容量的方法,所述方法包括:
第一内存存储单元导出存储的活跃数据;
第二内存存储单元接收所述第一内存存储单元导出的活跃数据,所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态;
所述第二内存存储单元存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据。
优选的,所述方法还包括:
归并存储单元接收并存储第二内存存储单元上传数据,监控并获取第二内存存储单元内的数据变动,定期将存储的数据写入硬盘存储单元。
通过以上技术方案,可以看出本发明实施例所提供的数据存储系统将活跃数据和非活跃数据分开存储,活跃数据存储在第一内存存储单元,非活跃数据存储在硬盘存储单元,归并存储单元作为数据存储的过渡装置,负责将第一内存存储单元接收的数据定期写入硬盘存储单元,在数据存储系统更新存储容量时,只需对数据存储系统中存储活跃数据的单元部件进行改动即可;同时,通过设置与数据存储系统更新存储容量后所要达到的容量状态相等同的第二内存存储单元,在数据存储系统更新存储容量时,将第一内存存储单元的活跃数据转入已设置好的第二内存存储单元中,由第二内存存储单元接替第一内存存储单元的工作,从而完成存储系统的存储容量更新。本发明实施例所提供的数据存储系统实现了存储容量的动态更新,无需在数据存储系统更新存储容量时停止对外服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明数据存储系统的实施例一的结构框图;
图2为本发明数据存储系统扩容示意图;
图3为本发明数据存储系统实施例二的结构框图;
图4本发明数据存储系统更新存储容量的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例所提供的数据存储系统是基于键值对存储,利用TTServer技术搭建而成,下面简单介绍键值对存储,TTServer及其相关的技术,以使本发明实施例所提供的数据存储系统更加清楚。
键值对存储:与传统关系数据库相比,键值对存储更加注重对海量数据存取的性能、分布式、扩展性的支持上,并不需要传统关系数据库的一些特征,例如:Schema、事务、完整SQL查询支持等等,因此在分布式环境下的性能相对于传统的关系数据库有较大的提升。
TokyoCabinet:一款DBM(DateBaseManager,数据库管理)数据库。该数据库读写速度非常块。
TTserver(TokyoTyrant):是DBM数据TokyoCabinet的网络接口,它使用基于TCP/IP的简单二进制协议进行通信,同时拥有Memcached(高性能的分布式内存对象缓存系统)兼容协议并且可以用HTTP/1.1协议进行数据交换,实现扩平台、跨语言使用TokyoTyrant。TokyoTyrant采用热备份,更新日志记录,复制的方式来实现高可用性和高可靠性。
利用TokyoTyrant可以构建兼容Memcached协议、支持故障转移、高并发的分布式键值对持久存储系统。键值对分布式存储系统查询速度快、存放数据量大、支持高并发。
下面结合附图对本发明实施例所提供的数据存储系统及更新存储容量的方法加以阐述。
实施例一
图1为本发明数据存储系统的实施例一的结构框图。参照图1,数据存储系统包括:第一内存存储单元100,归并存储单元200,硬盘存储单元300,第二内存存储单元400和配置单元500。
第一内存存储单元100,用于存储本发明数据存储系统的活跃数据,接收哈希入所述数据存储系统的数据,并向归并存储单元200上传接收的数据,在数据存储系统更新存储容量时,向第二内存存储单元400导入所述存储的活跃数据;
其中,第一内存存储单元100包括多个内存存储子单元,所述内存存储子单元可以为DB(DateBase,数据库),所述内存存储子单元存储数据存储系统中的活跃数据,接收哈希入数据存储系统的数据,将接收的数据上传给归并存储单元200;
当数据存储系统需要更新存储容量时,所述更新存储容量包括:扩容(扩充所述内存存储子单元的个数)和缩容(减少所述内存存储子单元的个数),第一内存存储单元100将各内存存储子单元中存储的活跃数据导入所述第二内存存储单元400,并由第二内存存储单元400替代第一内存存储单元100的工作,第二内存存储单元400的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态,即第二内存存储单元400内的内存存储子单元的数量为数据存储系统扩容或缩容后,内存存储子单元所要达到的数量。
归并存储单元200与第一内存存储单元100相连,接收并存储所述第一内存存储单元100上传的数据,并定期将存储的数据写入硬盘存储单元300,归并存储单元200监控并获取第一内存存储单元100内的数据变动,第一内存存储单元100的数据变动将反映至归并存储单元200;
其中,归并存储单元200包括多个归并存储子单元,所述归并存储子单元可以为DB,第一内存存储单元100内的内存存储子单元上传的数据将存储在所述归并存储子单元中。优选的,内存存储单元100内的多个内存存储子单元与归并存储单元200内的一个归并存储子单元保持映射关系,具体为:多个内存存储子单元上传的数据存储在一个归并存储子单元中,多个内存存储子单元的数据变动反映到一个归并存储子单元中;
优选的,归并存储单元200将存储的数据写入硬盘存储单元300的周期为一天。
硬盘存储单元300与归并存储单元200相连,接收归并存储单元200上传的数据,并永久存储所述数据;
其中,硬盘存储单元300可以包括多个硬盘存储子单元,所述硬盘存储子单元可按其数量进行分级,以保证海量数据的存储,常用的数据可以存储在一级硬盘存储子单元,并定期将该数据转存至二级硬盘存储子单元,以此类推,数据在硬盘存储子单元间的转存周期优选为一个月一次;优选的,存储非常用数据的硬盘存储子单元,如二级硬盘存储子单元,可以是mysql或其它数据库。
第二内存存储单元400与第一内存存储单元100相连,用于在所述数据存储系统更新存储容量时,接收所述第一内存存储单元100导出的活跃数据,并接替第一内存存储单元100的工作,负责存储所述数据存储系统的活跃数据,接收哈希入数据存储系统的数据,并向归并存储单元200上传接收的数据;
其中,第二内存存储单元400包括多个内存存储子单元,所述内存存储子单元可以为DB,所述内存存储子单元的个数为所述数据存储系统更新存储容量后,所要达到的内存存储子单元的个数;
当第二内存存储单元400接替第一内存存储单元100的工作后,归并存储单元200做出相应的调整,接收并存储第二内存存储单元400上传的数据,监控并获取第二内存存储单元400内的数据变动;
在数据存储系统完成更新存储容量后,第一内存存储单元100将被设置为备份的内存存储单元,其保留原有存储的数据,并在归并存储单元200完成将其上传的数据写入硬盘存储单元300后,其备份内存存储单元的设置将消失。
配置单元500,用于记录并存储所述数据存储系统的当前配置信息,监控所述数据存储系统的工作状态,具体为:
记录并存储数据存储系统当前各单元的配置信息,如在所述数据存储系统更新存储容量后,记录存储第一内存存储单元100,归并存储单元200,硬盘存储单元300和第二内存存储单元400的配置信息;当外界访问更新存储容量后的数据存储系统时,可通过配置单元500获取第二内存存储单元400的配置信息,以实现访问数据的目的;
在所述数据存储系统更新存储容量时,配置单元500将指令第一内存存储单元100将活跃数据导入第二内存存储单元200,在完成存储容量更新后,设置第一内存存储单元100为备份内存存储单元,并指令归并存储单元200尽快将第一内存存储单元100上传的数据写入硬盘存储单元300,以删除第一内存存储单元100的备份设置;
优选的,还可以设置第三内存存储单元,以便在所述数据存储系统下一次更新存储容量时,接收第二内存存储单元400存储的活跃数据,并接替第二内存存储单元400的工作;所述第三内存存储单元的存储容量状态为所述数据存储系统下一次更新存储容量,所要达到的存储容量状态。
参照图2,图2为本发明数据存储系统扩容示意图。第一内存存储单元100包含2个DB,第二内存存储单元400包含4个DB,第二内存存储单元400的DB数量为所述数据存储系统扩容后,内存存储单元所要达到的DB数。当扩容时,第一内存存储单元100的2个DB所存储的活跃数据将平均导入第二内存存储单元400的4个DB中;同时,存储数据存储系统的活跃数据、接收哈希入数据存储系统的数据、并将接收的数据上传给归并存储单元200的工作将切换至第二内存存储单元400执行,归并存储单元200做出相应调整,改为监控第二内存存储单元400内的数据变动,接收并存储第二内存存储单元400上传的数据;第一内存存储单元100在导出活跃数据后,配置单元500将其设置为备份内存存储单元,保留原有存储的数据,直至归并存储单元200将第一内存存储单元100上传的数据写入硬盘数据存储单元300。数据存储系统的缩容原理与此相同,不再赘述。需要说明的是,本段采用DB作为内存存储子单元,且涉及到的相关DB数量只为便于叙述,以使本发明的数据存储系统的更新存储容量的原理更为形象浅显,其不应成为本发明数据存储系统关于内存存储子单元及其数量的限定。
本发明实施例所提供的数据存储系统将活跃数据和非活跃数据分开存储,活跃数据存储在第一内存存储单元,非活跃数据存储在硬盘存储单元,归并存储单元作为数据存储的过渡装置,负责将第一内存存储单元接收的数据定期写入硬盘存储单元,在更新存储容量时,本系统只需对存储活跃数据的单元部件进行改动即可;同时,通过设置与数据存储系统更新存储容量后所要达到的容量状态相等同的第二内存存储单元,在数据存储系统更新存储容量时,将第一内存存储单元的活跃数据转入已设置好的第二内存存储单元中,由第二内存存储单元接替第一内存存储单元的工作,完成数据存储系统的存储容量更新,而无需停止对外服务,实现了数据存储系统存储容量的动态更新。
实施例二
图3为本发明数据存储系统实施例二的结构框图。图3所示数据存储系统与图1所示数据存储系统相比,所述数据存储系统还包括:与第一内存存储单元100相连的第一内存存储从单元110,和与归并存储单元200相连的第一归并存储从单元210。
第一内存存储从单元110与第一内存存储单元100相连,用于在第一内存存储单元100崩溃后,接替第一内存存储单元100的工作;负责存储活跃数据,接收并上传哈希入所述数据存储系统的数据,并在所述数据存储系统更新存储容量时,导出所述活跃数据给第二内存存储单元400;
第一内存存储从单元110在接替第一内存存储单元100的工作后,配置单元500指令硬盘存储单元300将第一内存存储单元100所存储的数据,导入第一内存存储从单元110,以实现第一内存存储从单元110与第一内存存储单元100的数据相等同,具体为读取归并存储单元200导出到硬盘存储单元300的数据到第一内存存储从单元110,然后接上binlog。
第一归并存储从单元210与归并存储单元200相连,且第一归并存储从单元210内存储的数据与归并存储单元200内存储的数据相等同,具体可以设置归并存储单元200备份其存储的数据至第一归并存储从单元210;
第一归并存储从单元210在归并存储单元200崩溃后,接替归并存储单元200的工作,负责监控第一内存存储单元100内的数据变动,接收第一内存存储单元100上传的数据,并定期向硬盘存储单元300上传存储的数据;
第一归并存储从单元210还可以在归并存储单元200向硬盘存储单元300写入数据时,接替归并存储单元200的工作,负责监控第一内存存储单元100内的数据变动,接收第一内存存储单元100上传的数据;归并存储单元200在完成向硬盘存储单元300上传数据后,将恢复监控第一内存存储单元100内的数据变动,接收第一内存存储单元100上传的数据的工作。
优选的,所述数据存储系统还可以包括第二归并存储从单元,用于在归并存储单元200恢复对第一内存存储单元100上传数据的接收后,接替第一归并存储从单元210的工作;由于归并存储单元200与第一归并存储从单元210内存储的数据相等同,当归并存储单元200完成向硬盘存储单元300写入数据后,第一归并存储从单元210存储的大部分数据就都已写入硬盘存储单元300,继续使用第一归并存储从单元210将造成存储空间不足的后果,使用新的第二归并存储从单元接替第一归并存储从单元210的工作,将使归并存储从单元保留足够的存储空间。
优选的,数据存储系统的各工作单元定时向配置单元500发送心跳,以便配置单元500监控各工作单元的工作状态;具体可以是:第一内存存储单元100,第一内存存储从单元110,归并存储单元200和第一归并存储从单元210定时向配置单元500发送心跳,当第一内存存储单元100没有发送心跳时,由于崩溃等原因,第一内存存储单元100将无法发送心跳,配置单元500指令第一内存存储从单元110接替第一内存存储单元100的工作;当第一内存存储从单元110没有发送心跳时,配置单元500指令预置的空闲内存存储从单元作为所述第一内存存储从单元;当归并存储单元200没有发送心跳或第一归并存储从单元210没有发送心跳时,配置单元500的工作与此相同。
优选的,还可以设置第二内存存储从单元,以便在第二内存存储单元400接替第一内存存储单元100的工作,且第二内存存储单元400崩溃时,接替第二内存存储单元400的工作。
本发明实施例所提供的数据存储系统,不仅实现了存储容量的动态更新,还通过设置内存存储从单元和归并存储从单元,可在内存存储单元和归并存储单元崩溃时,由相应的内存存储从单元和归并存储从单元接替其工作,实现了数据存储系统的可靠性保证。
实施例三
图4为本发明数据存储系统更新存储容量的方法流程图。结合图1和图4所示,在本发明数据存储系统更新存储容量时,第一内存存储单元100的配置保持不变,第二内存存储单元400使用新的配置,第二内存存储单元400的配置为本发明数据存储系统更新存储容量后,内存存储单元所要达到的配置状态;优选为设置第二内存存储单元400的存储容量状态为所述数据存储系统扩容或缩容后,所要达到的存储容量状态。该方法可以包括:
步骤S10、第一内存存储单元导出存储的活跃数据;
步骤S20、第二内存存储单元接收所述第一内存存储单元导出的活跃数据,所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态;
步骤S30、所述第二内存存储单元接替第一内存存储单元的工作,存储活跃数据,接收并上传哈希入所述数据存储系统的数据。
该方法还可以包括:
步骤S31、归并存储单元调整配置,接收并存储第二内存存储单元上传的数据,监控并获取第二内存存储单元内的数据变动,定期将存储的数据写入硬盘存储单元。
优选的,该方法还可以包括:
步骤S32、在所述第二内存存储单元崩溃后,预置的第二内存存储从单元接替所述第二内存存储单元的工作,存储活跃数据,接收并上传哈希入数据存储系统的数据。
优选的,该方法还可以包括:
步骤S33、在所述数据存储系统下一次更新存储容量时,所述第二内存存储单元导出存储的活跃数据给预置的第三内存存储单元,所述第三内存存储单元接替所述第二内存存储单元的工作,所述第三内存存储单元的存储容量为所述数据存储系统下一次更新存储容量时,所要达到容量状态。
本发明所提供的基于TTserver所搭建的数据存储系统及其更新存储容量的方法,将存储分为三层:内存存储单元,归并存储单元和硬盘存储单元,其中内存存储单元存储活跃数据,包括第一内存存储单元和第二内存存储单元;优选的,各单元部署在不同的硬件服务器上,在系统扩容或缩容时,只需对该系统存储活跃数据的内存存储单元进行改动,具体为:设置第二内存存储单元的配置信息为所述数据存储系统更新存储容量后,内存存储单元所要达到的配置,从而实现动态的存储容量更新。
需要说明的是,本发明所提供的数据存储系统不限制使用何种存储软件,针对键值对存储的TTserver可以有成熟的运用,但也可以应用到其他键值对存储软件中,如Redis等。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据存储系统,其特征在于,所述数据存储系统基于键值对存储,利用TTServer技术搭建而成,所述数据存储系统包括:
存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据,并在所述数据存储系统更新存储容量时,导出所述活跃数据的第一内存存储单元;
与所述第一内存存储单元相连,用于接收并存储所述第一内存存储单元上传的数据,并定期上传所述数据的归并存储单元,所述归并存储单元监控并获取所述第一内存存储单元内的数据变动;
与所述归并存储单元相连,用于接收所述归并存储单元上传的数据,并永久存储所述数据的硬盘存储单元;
与所述第一内存存储单元相连,用于在所述数据存储系统更新存储容量时,接收所述第一内存存储单元导出的活跃数据的第二内存存储单元;
所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态;所述第二内存存储单元在所述数据存储系统完成更新存储容量后,存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据;
与所述第一内存存储单元相连,用于在所述第一内存存储单元崩溃后,存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据,并在所述数据存储系统更新存储容量时,导出所述活跃数据的第一内存存储从单元。
2.根据权利要求1所述的数据存储系统,其特征在于,所述硬盘存储单元将其存储的所述第一内存存储单元存储的数据,导入所述第一内存存储从单元。
3.根据权利要求1所述的数据存储系统,其特征在于,所述数据存储系统还包括:与归并存储单元相连的第一归并存储从单元,所述第一归并存储从单元内存储的数据与所述归并存储单元内存储的数据相等同;
所述第一归并存储从单元,用于在所述归并存储单元崩溃后,接收所述第一内存存储单元上传的数据,并定期向所述硬盘存储单元上传所述数据。
4.根据权利要求3所述的数据存储系统,其特征在于,所述归并存储从单元,还用于在所述归并存储单元向所述硬盘存储单元上传数据时,接收所述第一内存存储单元上传的数据;所述归并存储单元在完成数据上传后,恢复对所述第一内存存储单元上传数据的接收。
5.根据权利要求4所述的数据存储系统,其特征在于,所述数据存储系统还包括:第二归并存储从单元,用于在所述归并存储单元恢复对所述第一内存存储单元上传数据的接收后,替代所述第一归并存储从单元的工作,所述第一归并存储从单元失效。
6.根据权利要求1所述的数据存储系统,其特征在于,所述第一内存存储单元包括多个内存存储子单元,所述归并存储单元包括多个归并存储子单元,所述第一内存存储单元内的多个内存存储子单元,与所述归并存储单元内的一个归并存储子单元保持映射关系。
7.根据权利要求1-6任一项所述的数据存储系统,其特征在于,所述数据存储系统还包括:
配置单元,用于记录并存储所述数据存储系统的当前配置信息,监控所述数据存储系统的工作状态。
8.一种数据存储系统更新存储容量的方法,其特征在于,基于权利要求1-7任一项所述的数据存储系统;所述方法包括:
第一内存存储单元导出存储的活跃数据;
第二内存存储单元接收所述第一内存存储单元导出的活跃数据,所述第二内存存储单元的存储容量状态为所述数据存储系统更新存储容量后,所要达到的容量状态;
所述第二内存存储单元存储所述数据存储系统的活跃数据,接收并上传哈希入所述数据存储系统的数据。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
归并存储单元接收并存储第二内存存储单元上传数据,监控并获取第二内存存储单元内的数据变动,定期将存储的数据写入硬盘存储单元。
CN201110433473.7A 2011-12-21 2011-12-21 一种数据存储系统及其更新存储容量的方法 Expired - Fee Related CN103177006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110433473.7A CN103177006B (zh) 2011-12-21 2011-12-21 一种数据存储系统及其更新存储容量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110433473.7A CN103177006B (zh) 2011-12-21 2011-12-21 一种数据存储系统及其更新存储容量的方法

Publications (2)

Publication Number Publication Date
CN103177006A CN103177006A (zh) 2013-06-26
CN103177006B true CN103177006B (zh) 2016-06-22

Family

ID=48636887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110433473.7A Expired - Fee Related CN103177006B (zh) 2011-12-21 2011-12-21 一种数据存储系统及其更新存储容量的方法

Country Status (1)

Country Link
CN (1) CN103177006B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514260B (zh) * 2013-08-13 2016-12-28 中国科学技术大学苏州研究院 内存日志文件系统及其实现方法
CN107977252A (zh) * 2016-10-21 2018-05-01 中兴通讯股份有限公司 一种云平台业务的缩容方法、装置及云平台
CN106649744B (zh) * 2016-12-26 2019-11-05 金蝶软件(中国)有限公司 日志记录方法及装置
CN109933413A (zh) * 2017-12-15 2019-06-25 北京嘀嘀无限科技发展有限公司 业务实现方法及装置、电子设备、存储介质
CN113448970B (zh) * 2021-08-31 2022-07-12 深圳市一号互联科技有限公司 一种图数据存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737768A (zh) * 2004-08-20 2006-02-22 中兴通讯股份有限公司 一种内存数据库同步数据的方法和装置
CN102222107A (zh) * 2011-06-28 2011-10-19 中国联合网络通信集团有限公司 数据存取系统及其数据存取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737768A (zh) * 2004-08-20 2006-02-22 中兴通讯股份有限公司 一种内存数据库同步数据的方法和装置
CN102222107A (zh) * 2011-06-28 2011-10-19 中国联合网络通信集团有限公司 数据存取系统及其数据存取方法

Also Published As

Publication number Publication date
CN103177006A (zh) 2013-06-26

Similar Documents

Publication Publication Date Title
US20220283916A1 (en) Managing Storage Systems That Are Synchronously Replicating A Dataset
CN103177006B (zh) 一种数据存储系统及其更新存储容量的方法
JP6056453B2 (ja) プログラム、データ管理方法および情報処理装置
CN103763383B (zh) 一体化云存储系统及其存储方法
CN105760556B (zh) 低延时高吞吐量的多副本文件读写优化方法
CN101055511B (zh) 一种存储阵列系统及其数据操作方法
JP5851055B2 (ja) データ格納方法および装置
US8689044B2 (en) SAS host controller cache tracking
US20200012442A1 (en) Method for accessing distributed storage system, related apparatus, and related system
CN103136074A (zh) 多个磁盘阵列系统的数据储存方法及数据储存系统
CN111984191A (zh) 一种支持分布式存储的多客户端缓存方法及系统
US20160170841A1 (en) Non-Disruptive Online Storage Device Firmware Updating
CN105100716B (zh) 一种用于网络视频监控的安全存储单元及其系统
WO2014067270A1 (zh) 基于光盘的数据库存储系统及利用该系统的方法
US11068364B2 (en) Predictable synchronous data replication
WO2014043448A1 (en) Block level management with service level agreement
CN110442306A (zh) 一种分布式存储系统的故障处理方法、设备以及存储介质
CN109582686B (zh) 分布式元数据管理一致性保证方法、装置、系统及应用
CN102820998B (zh) 实现面向办公应用的双机容错服务系统及其数据存储方法
JP2012524934A (ja) ストレージ・エリア・ネットワーク(「san」)内の仮想ストレージ管理のアクティブ−アクティブ・サポート
CN104298574A (zh) 一种数据高速存储处理系统
CN104281673A (zh) 一种数据库的缓存构建系统及对应的构建方法
CN102306121A (zh) 智能调度技术中的虚拟存储测试方法
CN103473258A (zh) 云存储文件系统
CN107766178A (zh) 电子档案存储系统、存储方法及修复方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160622

Termination date: 20161221