CN105786401A - 服务器集群系统中的数据管理方法及装置 - Google Patents
服务器集群系统中的数据管理方法及装置 Download PDFInfo
- Publication number
- CN105786401A CN105786401A CN201410827565.7A CN201410827565A CN105786401A CN 105786401 A CN105786401 A CN 105786401A CN 201410827565 A CN201410827565 A CN 201410827565A CN 105786401 A CN105786401 A CN 105786401A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- storage medium
- high speed
- low speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种服务器集群系统中的数据管理方法及装置,所述方法包括:接收到读取指令时,根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中,并根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址,根据所述物理存储地址读取数据;将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时,将所述数据从低速存储介质转存储至高速存储介质中。
Description
技术领域
本发明涉及数据存取技术,尤其涉及一种基于分布式数据存取的服务器集群系统中的数据管理方法及装置。
背景技术
为解决单机或者独立的存储区域网络(SAN,StorageAreaNetwork)的存储不能满足极具弹性的存储需求和性能要求,提出了基于X86服务器及软件方式管理的分布式块存储技术,其工作流程一般是,将X86服务器建立成一个集群,采用集群管理方式,分布式哈希数据路由,数据分散存放,实现全局负载均衡,不存在集中的数据热点。用户数据访问时,根据系统中预设的逻辑块大小,将逻辑卷分为多个逻辑块,每个逻辑块均有块地址,称之为虚拟的块地址(用vdi表示)。将集群中服务器的物理磁盘地址组成一个哈希环。在用户访问自己的逻辑卷时,通过逻辑卷中逻辑块的标志号,利用统一的哈希算法,得到该数据存储介质的物理地址(用vonde表示,包括物理服务器及物理磁盘的地址),然后根据该地址进行数据访问。
但目前这种基于X86服务器的集群数据管理方式虽然实现了数据均衡,但数据管理效率不高,一些访问次数较多的数据,鉴于数据均衡的考虑,可能被存储于低速存储介质中,而一些不被访问的数据可能占据了高速存储介质。因此,目前的数据管理方式,数据管理效率非常低下,这也必然导致用户对数据进行访问时,访问效率的低下。
发明内容
本发明实施例为解决上述技术问题,提供一种服务器集群系统中的数据管理方法及装置,通过对存储介质进行低速和高速的区分,并分别管理低速存储介质和高速存储介质,实现对数据访问的高效响应,提升用户体验效果。
本发明实施例的技术方案是这样实现的:
一种服务器集群系统中的数据管理方法,包括:
接收到读取指令时,根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中,并根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址,根据所述物理存储地址读取数据;
将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;
确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时,将所述数据从低速存储介质转存储至高速存储介质中。
优选地,所述方法还包括:
接收到写入指令时,将待写入数据写入高速存储介质中,为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
优选地,所述方法还包括:
确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时,将所述数据从高速存储介质转存储至低速存储介质中。
优选地,在对数据进行读写之前,所述方法还包括:
确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;
为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;
并将低速存储介质和高速存储介质分别构建为哈希环。
一种服务器集群系统中的数据管理装置,包括:第一接收单元、第一确定单元、运算单元、读取单元、记录单元、第二确定单元和第一迁移单元,其中:
第一接收单元,用于接收读取指令,并触发所述第一确定单元;
第一确定单元,用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中;
运算单元,用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址;
读取单元,用于根据所述物理存储地址读取数据;
记录单元,用于在根据所述物理存储地址读取数据后,将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;
第二确定单元,用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值,超出时触发所述第一迁移单元;
第一迁移单元,用于将所述数据从低速存储介质转存储至高速存储介质中。
优选地,所述装置还包括:第二接收单元、写入单元和第一设置单元,其中:
第二接收单元,用于接收写入指令,并触发所述写入单元;
写入单元,用于将待写入数据写入高速存储介质中;
第一设置单元,用于为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
优选地,所述装置还包括:第三确定单元和第二迁移单元,其中:
第三确定单元,用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值,低于时触发所述第二迁移单元;
第二迁移单元,用于将所述数据从高速存储介质转存储至低速存储介质中。
优选地,所述装置还包括:第四确定单元、第二设置单元和构建单元,其中:
第四确定单元,用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;
第二设置单元,用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;
构建单元,用于将低速存储介质和高速存储介质分别构建为哈希环。
本发明实施例中,在接收到对数据的访问请求时,根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中,并根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址,根据所述物理存储地址读取数据;将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时,将所述数据从低速存储介质转存储至高速存储介质中;如在某数据在设定时间段如10分钟内达到设定的访问次数时,确定该数据为热数据,如果该数据存储至低速存储介质中,则将该数据迁移至高速存储介质。本发明通过对存储介质进行分层管理,实现了对不同数据访问的响应时间,对于访问热度比较高的数据,存储至高速存储介质中,提升了用户对热点数据的访问响应时间,从而提升了用户体验效果。
附图说明
图1为本发明实施例的服务器集群系统中的数据管理方法的流程图;
图2为本发明实施例的存储介质分层管理示意图;
图3为本发明实施例的服务器集群系统中的数据管理装置的组成结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下举实施例并参照附图,对本发明进一步详细说明。
图1为本发明实施例的服务器集群系统中的数据管理方法的流程图,如图1所示,本发明实施例的服务器集群系统中的数据管理方法包括以下步骤:
步骤101,接收到写入指令时,将待写入数据写入高速存储介质中,为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
本发明实施例中,首先确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;以及,为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;并将低速存储介质和高速存储介质分别构建为哈希环。
即,在对数据存取之前,需要确定为服务器集群系统所分配的存储介质的情况,并对该所分配的存储介质进行分层管理,以分别将数据对应存储于高速存储介质还是低速存储介质。
本发明实施例中,在服务器系统接收到数据写入指令后,将数据默认写入高速存储介质中,以方便用户对该数据进行高速访问。
为使对数据快速查找,需要记录存储数据的存储介质的存储标识,以确定数据被存储于高速存储介质中还是低速存储介质中,以方便在相应的存储介质哈希环中寻址数据。另外,为实现对数据的准确定位,还需要记录数据存储的虚拟块的地址信息,以通过哈希运算确定所存储数据对应的物理存储地址。
步骤102,接收到读取指令时,根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中,并根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址,根据所述物理存储地址读取数据。
当接收到数据的读取指令后,根据数据标识确定数据是存储于低速存储介质中还是高速存储介质中,并获取数据记录项中对应的虚拟块的地址信息,对存储介质的标识信息和存储数据的虚拟块的地址信息进行哈希运算,确定出待读取数据的实际物理存储地址,再到对应的物理存储地址读取该数据即可。
需要说明的是,在对数据存储时,同样需要根据对虚拟块地址及存储标识的哈希运算确定出实际存储的物理地址。
步骤103,将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息。
本发明实施例中,当某数据被访问后,还需要记录该数据被访问的次数及对该数据每次的访问时间。
步骤104,确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时,将所述数据从低速存储介质转存储至高速存储介质中;确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时,将所述数据从高速存储介质转存储至低速存储介质中。
这样,通过统计设定时间段如10分钟内数据被访问的次数,当该访问次数超出设定阈值如10次时,认为该数据被访问的频度较高,是热点数据,如果该数据此时存储于低速存储介质中,将该该数据存储至高速存储介质中。当更换存储地址时,需要同时更改该数据的存储介质的标识信息及对应的虚拟块的地址信息,以便对该数据访问时,能快速及时地确定出其物理存储地址。
同样地,当在设定时间段内如15分钟数据的访问次数低于设定阈值如3次时,则认为该数据的热度很低,如果该数据在高速存储介质中存储,则将其存储至低速存储介质中,同样地,需要同时更改该数据的存储介质的标识信息及对应的虚拟块的地址信息,以便对该数据访问时,能快速及时地确定出其物理存储地址。
以下通过具体示例,进一步阐明本发明实施例的技术方案的实质。
本发明实施例中,在组建分布式块存储系统时,将集群中每台服务器分别加入多块低速存储介质和多块高速存储介质,每台服务器上的低速存储介质和高速存储介质数量上不需要一致。管理软件识别出每台服务器上的不同速率的存储介质,并对这些存储介质进行分层管理。管理软件为高速存储介质建立一个哈希环,为低速存储介质建立一个哈希环。即通过两个哈希环来分别管理两种不同速率的存储介质。图2为本发明实施例的存储介质分层管理示意图,如图2所示,为每个逻辑卷按照预定的逻辑块大小分为多个逻辑块,为每一逻辑块设置逻辑地址(vdi)和存储标识HDD或者SSD,其中,HDD表示低速存储介质,SSD表示高速存储介质。
将逻辑块的逻辑地址(vdi)和存储标识(HDD:低速存储介质/SSD:高速存储介质)作为参数,进行哈希运算,得到逻辑块数据对应的物理存储地址。此处,利用存储标识,可以确定逻辑块数据存储在哪个物理存储介质的哈希环上,并根据逻辑地址算出数据存储落在哈希环的具体物理存储位置。
当有新数据写入时,新写入的数据都存储到高速存储介质中,则逻辑存储标识为SSD。即将高速存储介质作为写缓存使用。新数据都写入高速存储介质中。
当读取数据时,若该待读取数据存储在高速存储介质中时,则从高速存储介质中读取该数据,并将哈希命中次数及命中时间记录到该数据对应的访问次数中;当数据读取时,若该部分数据存储在低速存储介质中,则从低速存储介质中读取该数据,并将哈希命中次数及命中时间记录到该数据对应的访问次数中。在低速存储介质中,若在设定时间段内某数据的访问次数达到系统设置的上限值时,后台能够把该数据迁移至高速存储介质,并标识为热数据。
本发明实施例中,对冷热数据识别的方法是,充分利用哈希算法的特点,根据哈希算法得出存储地址的命中次数来辨别。命中次数的限额可以自行配置。若配置为5次,则当一定时间段内,访问数据的次数达到或超过5次,则认为该数据为热数据。反之则为冷数据。而如果冷数据存储于高速存储介质中,需将其迁移至低速存储介质中。
若管理软件判断出一些数据为热数据后,且该数据不在高速存储介质中,本方案能够在后台将该数据由低速存储介质迁移至高速存储介质中。同时,若在一段时间内,存储在高速存储介质中的数据没有被访问,则认为该数据为冷数据,本方案能够将该数据迁移至低速存储介质。
本发明实施例中,获取为所述服务器集群系统所分配的存储介质,并确定存储介质中的低速存储介质还是高速存储介质;为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识,并将低速存储介质和高速存储介质分别构建为哈希环;在对数据进行存储时,默认将数据均存储至高速存储介质中,以方便用户对新存储数据的访问;在接收到对数据的访问请求时,记录该数据被访问的时间及次数,在某数据在设定时间段如10分钟内达到设定的访问次数时,确定该数据为热数据,如果该数据存储至低速存储介质中,则将该数据迁移至高速存储介质,而如果高速存储介质中的数据在设定时间段内的访问次数低于设定阈值,则将该数据迁移至低速存储介质中。本发明通过对存储介质进行分层管理,实现了对不同数据访问的响应时间,对于访问热度比较高的数据,存储至高速存储介质中,提升了用户对热点数据的访问响应时间,从而提升了用户体验效果。
图3为本发明实施例的服务器集群系统中的数据管理装置的组成结构示意图,如图3所示,本发明实施例的服务器集群系统中的数据管理装置包括第一接收单元30、第一确定单元31、运算单元32、读取单元33、记录单元34、第二确定单元35和第一迁移单元36,其中:
第一接收单元30,用于接收读取指令,并触发所述第一确定单元;
第一确定单元31,用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中;
运算单元32,用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址;
读取单元33,用于根据所述物理存储地址读取数据;
记录单元34,用于在根据所述物理存储地址读取数据后,将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;
第二确定单元35,用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值,超出时触发所述第一迁移单元;
第一迁移单元36,用于将所述数据从低速存储介质转存储至高速存储介质中。
在图3所示的服务器集群系统中的数据管理装置的基础上,本发明实施例的服务器集群系统中的数据管理装置还包括:第二接收单元(图3中未示出)、写入单元(图3中未示出)和第一设置单元(图3中未示出),其中:
第二接收单元,用于接收写入指令,并触发所述写入单元;
写入单元,用于将待写入数据写入高速存储介质中;
第一设置单元,用于为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
在图3所示的服务器集群系统中的数据管理装置的基础上,本发明实施例的服务器集群系统中的数据管理装置还包括:第三确定单元(图3中未示出)和第二迁移单元(图3中未示出),其中:
第三确定单元,用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值,低于时触发所述第二迁移单元;
第二迁移单元,用于将所述数据从高速存储介质转存储至低速存储介质中。
在图3所示的服务器集群系统中的数据管理装置的基础上,本发明实施例的服务器集群系统中的数据管理装置还包括:第四确定单元(图3中未示出)、第二设置单元(图3中未示出)和构建单元(图3中未示出),其中:
第四确定单元,用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;
第二设置单元,用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;
构建单元,用于将低速存储介质和高速存储介质分别构建为哈希环。
本领域技术人员应当理解,图3中所示的服务器集群系统中的数据管理装置中的各处理单元的实现功能可参照前述服务器集群系统中的数据管理方法及其实施例的相关描述而理解。本领域技术人员应当理解,图3所示的服务器集群系统中的数据管理装置中各处理单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本发明实施例的服务器集群系统中的数据管理装置适用于支持分布式数据管理的服务器中。
本发明实施例中,获取为所述服务器集群系统所分配的存储介质,并确定存储介质中的低速存储介质还是高速存储介质;为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识,并将低速存储介质和高速存储介质分别构建为哈希环;在对数据进行存储时,默认将数据均存储至高速存储介质中,以方便用户对新存储数据的访问;在接收到对数据的访问请求时,记录该数据被访问的时间及次数,在某数据在设定时间段如10分钟内达到设定的访问次数时,确定该数据为热数据,如果该数据存储至低速存储介质中,则将该数据迁移至高速存储介质,而如果高速存储介质中的数据在设定时间段内的访问次数低于设定阈值,则将该数据迁移至低速存储介质中。本发明通过对存储介质进行分层管理,实现了对不同数据访问的响应时间,对于访问热度比较高的数据,存储至高速存储介质中,提升了用户对热点数据的访问响应时间,从而提升了用户体验效果。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法、装置和电子设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加应用功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明实施例上述集成的单元如果以应用功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以应用产品的形式体现出来,该计算机应用产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的保护范围并不局限于此,熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种服务器集群系统中的数据管理方法,其特征在于,所述方法包括:
接收到读取指令时,根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中,并根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址,根据所述物理存储地址读取数据;
将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;
确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时,将所述数据从低速存储介质转存储至高速存储介质中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收到写入指令时,将待写入数据写入高速存储介质中,为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时,将所述数据从高速存储介质转存储至低速存储介质中。
4.根据权利要求2所述的方法,其特征在于,在对数据进行读写之前,所述方法还包括:
确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;
为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;
并将低速存储介质和高速存储介质分别构建为哈希环。
5.一种服务器集群系统中的数据管理装置,其特征在于,所述装置包括:第一接收单元、第一确定单元、运算单元、读取单元、记录单元、第二确定单元和第一迁移单元,其中:
第一接收单元,用于接收读取指令,并触发所述第一确定单元;
第一确定单元,用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中;
运算单元,用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算,确定所述待读取数据的物理存储地址;
读取单元,用于根据所述物理存储地址读取数据;
记录单元,用于在根据所述物理存储地址读取数据后,将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中,并记录数据的访问时间信息;
第二确定单元,用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值,超出时触发所述第一迁移单元;
第一迁移单元,用于将所述数据从低速存储介质转存储至高速存储介质中。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:第二接收单元、写入单元和第一设置单元,其中:
第二接收单元,用于接收写入指令,并触发所述写入单元;
写入单元,用于将待写入数据写入高速存储介质中;
第一设置单元,用于为写入的数据设置高速存储的标识,并记录所述数据的逻辑地址。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:第三确定单元和第二迁移单元,其中:
第三确定单元,用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值,低于时触发所述第二迁移单元;
第二迁移单元,用于将所述数据从高速存储介质转存储至低速存储介质中。
8.根据权利要求5至7任一项所述的装置,其特征在于,所述装置还包括:第四确定单元、第二设置单元和构建单元,其中:
第四确定单元,用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质;
第二设置单元,用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷,为每一逻辑块设置逻辑地址、以及高速或低速存储的标识;
构建单元,用于将低速存储介质和高速存储介质分别构建为哈希环。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410827565.7A CN105786401A (zh) | 2014-12-25 | 2014-12-25 | 服务器集群系统中的数据管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410827565.7A CN105786401A (zh) | 2014-12-25 | 2014-12-25 | 服务器集群系统中的数据管理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105786401A true CN105786401A (zh) | 2016-07-20 |
Family
ID=56388564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410827565.7A Pending CN105786401A (zh) | 2014-12-25 | 2014-12-25 | 服务器集群系统中的数据管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105786401A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302634A (zh) * | 2016-07-25 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种数据迁移方法和系统 |
CN107229573A (zh) * | 2017-05-22 | 2017-10-03 | 上海天玑数据技术有限公司 | 一种基于固态硬盘的弹性高可用缓存方法 |
CN107346342A (zh) * | 2017-07-13 | 2017-11-14 | 上海携程商务有限公司 | 一种基于存储计算的文件调用方法与系统 |
CN107844269A (zh) * | 2017-10-17 | 2018-03-27 | 华中科技大学 | 一种基于一致性哈希的分层混合存储系统及方法 |
CN107908367A (zh) * | 2017-11-16 | 2018-04-13 | 郑州云海信息技术有限公司 | 存储系统中数据存储的方法、装置、设备及存储介质 |
CN107968818A (zh) * | 2017-11-17 | 2018-04-27 | 北京联想超融合科技有限公司 | 数据的存储方法、装置及服务器集群 |
CN108932203A (zh) * | 2017-05-29 | 2018-12-04 | 爱思开海力士有限公司 | 数据处理系统和数据处理方法 |
CN109271391A (zh) * | 2018-09-29 | 2019-01-25 | 武汉极意网络科技有限公司 | 数据存储方法、服务器、存储介质及装置 |
CN110008030A (zh) * | 2019-04-16 | 2019-07-12 | 苏州浪潮智能科技有限公司 | 一种元数据访问的方法、系统及设备 |
CN110109620A (zh) * | 2019-04-25 | 2019-08-09 | 上海淇毓信息科技有限公司 | 混合存储方法、装置和电子设备 |
CN110677348A (zh) * | 2019-09-17 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 基于缓存集群路由的数据分发方法、访问方法及各自装置 |
CN111552664A (zh) * | 2020-03-24 | 2020-08-18 | 福建天泉教育科技有限公司 | 存储系统冷热智能调度的方法、存储介质 |
CN112684975A (zh) * | 2019-10-17 | 2021-04-20 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN113672524A (zh) * | 2021-08-20 | 2021-11-19 | 上海哔哩哔哩科技有限公司 | 基于多级缓存的数据处理方法及系统 |
CN115827508A (zh) * | 2023-01-09 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
CN115827757A (zh) * | 2022-11-30 | 2023-03-21 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | 一种对多HBase集群的数据操作方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6032224A (en) * | 1996-12-03 | 2000-02-29 | Emc Corporation | Hierarchical performance system for managing a plurality of storage units with different access speeds |
CN1480850A (zh) * | 2002-12-04 | 2004-03-10 | 联想(北京)有限公司 | 动态迁移数据的方法及其存储系统 |
CN101408835A (zh) * | 2007-10-10 | 2009-04-15 | 英业达股份有限公司 | 逻辑卷管理器的数据管理方法 |
CN102576333A (zh) * | 2009-10-05 | 2012-07-11 | 马维尔国际贸易有限公司 | 非易失性存储器中的数据高速缓存 |
CN103136114A (zh) * | 2011-11-30 | 2013-06-05 | 华为技术有限公司 | 存储方法及存储装置 |
CN104102454A (zh) * | 2013-04-07 | 2014-10-15 | 杭州信核数据科技有限公司 | 一种自动实现分层存储的方法和管理分层存储的系统 |
-
2014
- 2014-12-25 CN CN201410827565.7A patent/CN105786401A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6032224A (en) * | 1996-12-03 | 2000-02-29 | Emc Corporation | Hierarchical performance system for managing a plurality of storage units with different access speeds |
CN1480850A (zh) * | 2002-12-04 | 2004-03-10 | 联想(北京)有限公司 | 动态迁移数据的方法及其存储系统 |
CN101408835A (zh) * | 2007-10-10 | 2009-04-15 | 英业达股份有限公司 | 逻辑卷管理器的数据管理方法 |
CN102576333A (zh) * | 2009-10-05 | 2012-07-11 | 马维尔国际贸易有限公司 | 非易失性存储器中的数据高速缓存 |
CN103136114A (zh) * | 2011-11-30 | 2013-06-05 | 华为技术有限公司 | 存储方法及存储装置 |
CN104102454A (zh) * | 2013-04-07 | 2014-10-15 | 杭州信核数据科技有限公司 | 一种自动实现分层存储的方法和管理分层存储的系统 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302634A (zh) * | 2016-07-25 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种数据迁移方法和系统 |
CN107229573B (zh) * | 2017-05-22 | 2020-04-28 | 上海天玑数据技术有限公司 | 一种基于固态硬盘的弹性高可用缓存方法 |
CN107229573A (zh) * | 2017-05-22 | 2017-10-03 | 上海天玑数据技术有限公司 | 一种基于固态硬盘的弹性高可用缓存方法 |
CN108932203B (zh) * | 2017-05-29 | 2022-03-11 | 爱思开海力士有限公司 | 数据处理系统和数据处理方法 |
CN108932203A (zh) * | 2017-05-29 | 2018-12-04 | 爱思开海力士有限公司 | 数据处理系统和数据处理方法 |
CN107346342A (zh) * | 2017-07-13 | 2017-11-14 | 上海携程商务有限公司 | 一种基于存储计算的文件调用方法与系统 |
CN107844269A (zh) * | 2017-10-17 | 2018-03-27 | 华中科技大学 | 一种基于一致性哈希的分层混合存储系统及方法 |
CN107844269B (zh) * | 2017-10-17 | 2020-06-02 | 华中科技大学 | 一种基于一致性哈希的分层混合存储系统 |
CN107908367A (zh) * | 2017-11-16 | 2018-04-13 | 郑州云海信息技术有限公司 | 存储系统中数据存储的方法、装置、设备及存储介质 |
CN107968818A (zh) * | 2017-11-17 | 2018-04-27 | 北京联想超融合科技有限公司 | 数据的存储方法、装置及服务器集群 |
CN107968818B (zh) * | 2017-11-17 | 2021-06-04 | 北京联想超融合科技有限公司 | 数据的存储方法、装置及服务器集群 |
CN109271391A (zh) * | 2018-09-29 | 2019-01-25 | 武汉极意网络科技有限公司 | 数据存储方法、服务器、存储介质及装置 |
CN109271391B (zh) * | 2018-09-29 | 2021-05-28 | 武汉极意网络科技有限公司 | 数据存储方法、服务器、存储介质及装置 |
CN110008030A (zh) * | 2019-04-16 | 2019-07-12 | 苏州浪潮智能科技有限公司 | 一种元数据访问的方法、系统及设备 |
CN110008030B (zh) * | 2019-04-16 | 2020-06-19 | 苏州浪潮智能科技有限公司 | 一种元数据访问的方法、系统及设备 |
CN110109620A (zh) * | 2019-04-25 | 2019-08-09 | 上海淇毓信息科技有限公司 | 混合存储方法、装置和电子设备 |
CN110109620B (zh) * | 2019-04-25 | 2023-08-04 | 上海淇毓信息科技有限公司 | 混合存储方法、装置和电子设备 |
CN110677348A (zh) * | 2019-09-17 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 基于缓存集群路由的数据分发方法、访问方法及各自装置 |
CN110677348B (zh) * | 2019-09-17 | 2021-07-27 | 创新先进技术有限公司 | 基于缓存集群路由的数据分发方法、访问方法及各自装置 |
CN112684975B (zh) * | 2019-10-17 | 2022-08-09 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN112684975A (zh) * | 2019-10-17 | 2021-04-20 | 华为技术有限公司 | 一种数据存储方法及装置 |
US11886729B2 (en) | 2019-10-17 | 2024-01-30 | Huawei Technologies Co., Ltd. | Data storage method and apparatus |
CN111552664B (zh) * | 2020-03-24 | 2023-05-23 | 福建天泉教育科技有限公司 | 存储系统冷热智能调度的方法、存储介质 |
CN111552664A (zh) * | 2020-03-24 | 2020-08-18 | 福建天泉教育科技有限公司 | 存储系统冷热智能调度的方法、存储介质 |
CN113672524A (zh) * | 2021-08-20 | 2021-11-19 | 上海哔哩哔哩科技有限公司 | 基于多级缓存的数据处理方法及系统 |
CN115827757A (zh) * | 2022-11-30 | 2023-03-21 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | 一种对多HBase集群的数据操作方法及装置 |
CN115827757B (zh) * | 2022-11-30 | 2024-03-12 | 西部科学城智能网联汽车创新中心(重庆)有限公司 | 一种对多HBase集群的数据操作方法及装置 |
CN115827508A (zh) * | 2023-01-09 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
CN115827508B (zh) * | 2023-01-09 | 2023-05-09 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105786401A (zh) | 服务器集群系统中的数据管理方法及装置 | |
CN104850358B (zh) | 一种磁光电混合存储系统及其数据获取和存储方法 | |
CN102156738B (zh) | 数据块处理方法、数据块存储设备及系统 | |
CN104679661B (zh) | 混合存储的控制方法及混合存储系统 | |
CN104794064B (zh) | 一种基于区域热度的缓存管理方法 | |
CN104462240A (zh) | 云存储中实现分级存储管理的方法和系统 | |
CN102117248A (zh) | 一种缓存系统和在缓存系统中缓存数据的方法 | |
CN106354431A (zh) | 一种数据存储方法及装置 | |
CN104268099B (zh) | 一种管理数据读写的方法及装置 | |
CN104503703B (zh) | 缓存的处理方法和装置 | |
CN103488685B (zh) | 一种基于分布式存储系统的碎片文件存储方法 | |
CN101644996A (zh) | 索引数据的存储方法和存储控制装置 | |
CN103049224B (zh) | 将数据导入物理磁带的方法、装置和系统 | |
WO2017148242A1 (zh) | 一种访问叠瓦式磁记录smr硬盘的方法及服务器 | |
JP2016143221A (ja) | ストレージ装置,制御プログラム,ストレージシステム及びデータ転送方法 | |
CN103150122B (zh) | 一种磁盘缓存空间管理方法和装置 | |
CN104620230A (zh) | 管理存储器的方法 | |
CN105487823A (zh) | 一种数据迁移的方法及装置 | |
US10712943B2 (en) | Database memory monitoring and defragmentation of database indexes | |
CN101976181A (zh) | 一种存储资源的管理方法及管理装置 | |
CN108399050B (zh) | 一种数据处理方法及装置 | |
CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
CN103902473A (zh) | 一种数据处理方法及数据缓存系统 | |
CN104281535A (zh) | 一种映射表在内存中的处理方法和装置 | |
CN110147203A (zh) | 一种文件管理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160720 |