CN105786401A - 服务器集群系统中的数据管理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种服务器集群系统中的数据管理方法及装置，所述方法包括：接收到读取指令时，根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中，并根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址，根据所述物理存储地址读取数据；将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时，将所述数据从低速存储介质转存储至高速存储介质中。

Description

服务器集群系统中的数据管理方法及装置

技术领域

本发明涉及数据存取技术，尤其涉及一种基于分布式数据存取的服务器集群系统中的数据管理方法及装置。

背景技术

为解决单机或者独立的存储区域网络(SAN，StorageAreaNetwork)的存储不能满足极具弹性的存储需求和性能要求，提出了基于X86服务器及软件方式管理的分布式块存储技术，其工作流程一般是，将X86服务器建立成一个集群，采用集群管理方式，分布式哈希数据路由，数据分散存放，实现全局负载均衡，不存在集中的数据热点。用户数据访问时，根据系统中预设的逻辑块大小，将逻辑卷分为多个逻辑块，每个逻辑块均有块地址，称之为虚拟的块地址(用vdi表示)。将集群中服务器的物理磁盘地址组成一个哈希环。在用户访问自己的逻辑卷时，通过逻辑卷中逻辑块的标志号，利用统一的哈希算法，得到该数据存储介质的物理地址(用vonde表示，包括物理服务器及物理磁盘的地址)，然后根据该地址进行数据访问。

但目前这种基于X86服务器的集群数据管理方式虽然实现了数据均衡，但数据管理效率不高，一些访问次数较多的数据，鉴于数据均衡的考虑，可能被存储于低速存储介质中，而一些不被访问的数据可能占据了高速存储介质。因此，目前的数据管理方式，数据管理效率非常低下，这也必然导致用户对数据进行访问时，访问效率的低下。

发明内容

本发明实施例为解决上述技术问题，提供一种服务器集群系统中的数据管理方法及装置，通过对存储介质进行低速和高速的区分，并分别管理低速存储介质和高速存储介质，实现对数据访问的高效响应，提升用户体验效果。

本发明实施例的技术方案是这样实现的：

一种服务器集群系统中的数据管理方法，包括：

接收到读取指令时，根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中，并根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址，根据所述物理存储地址读取数据；

将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；

确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时，将所述数据从低速存储介质转存储至高速存储介质中。

优选地，所述方法还包括：

接收到写入指令时，将待写入数据写入高速存储介质中，为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

优选地，所述方法还包括：

确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时，将所述数据从高速存储介质转存储至低速存储介质中。

优选地，在对数据进行读写之前，所述方法还包括：

确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；

为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；

并将低速存储介质和高速存储介质分别构建为哈希环。

一种服务器集群系统中的数据管理装置，包括：第一接收单元、第一确定单元、运算单元、读取单元、记录单元、第二确定单元和第一迁移单元，其中：

第一接收单元，用于接收读取指令，并触发所述第一确定单元；

第一确定单元，用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中；

运算单元，用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址；

读取单元，用于根据所述物理存储地址读取数据；

记录单元，用于在根据所述物理存储地址读取数据后，将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；

第二确定单元，用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值，超出时触发所述第一迁移单元；

第一迁移单元，用于将所述数据从低速存储介质转存储至高速存储介质中。

优选地，所述装置还包括：第二接收单元、写入单元和第一设置单元，其中：

第二接收单元，用于接收写入指令，并触发所述写入单元；

写入单元，用于将待写入数据写入高速存储介质中；

第一设置单元，用于为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

优选地，所述装置还包括：第三确定单元和第二迁移单元，其中：

第三确定单元，用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值，低于时触发所述第二迁移单元；

第二迁移单元，用于将所述数据从高速存储介质转存储至低速存储介质中。

优选地，所述装置还包括：第四确定单元、第二设置单元和构建单元，其中：

第四确定单元，用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；

第二设置单元，用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；

构建单元，用于将低速存储介质和高速存储介质分别构建为哈希环。

本发明实施例中，在接收到对数据的访问请求时，根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中，并根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址，根据所述物理存储地址读取数据；将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时，将所述数据从低速存储介质转存储至高速存储介质中；如在某数据在设定时间段如10分钟内达到设定的访问次数时，确定该数据为热数据，如果该数据存储至低速存储介质中，则将该数据迁移至高速存储介质。本发明通过对存储介质进行分层管理，实现了对不同数据访问的响应时间，对于访问热度比较高的数据，存储至高速存储介质中，提升了用户对热点数据的访问响应时间，从而提升了用户体验效果。

附图说明

图1为本发明实施例的服务器集群系统中的数据管理方法的流程图；

图2为本发明实施例的存储介质分层管理示意图；

图3为本发明实施例的服务器集群系统中的数据管理装置的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。

图1为本发明实施例的服务器集群系统中的数据管理方法的流程图，如图1所示，本发明实施例的服务器集群系统中的数据管理方法包括以下步骤：

步骤101，接收到写入指令时，将待写入数据写入高速存储介质中，为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

本发明实施例中，首先确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；以及，为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；并将低速存储介质和高速存储介质分别构建为哈希环。

即，在对数据存取之前，需要确定为服务器集群系统所分配的存储介质的情况，并对该所分配的存储介质进行分层管理，以分别将数据对应存储于高速存储介质还是低速存储介质。

本发明实施例中，在服务器系统接收到数据写入指令后，将数据默认写入高速存储介质中，以方便用户对该数据进行高速访问。

为使对数据快速查找，需要记录存储数据的存储介质的存储标识，以确定数据被存储于高速存储介质中还是低速存储介质中，以方便在相应的存储介质哈希环中寻址数据。另外，为实现对数据的准确定位，还需要记录数据存储的虚拟块的地址信息，以通过哈希运算确定所存储数据对应的物理存储地址。

步骤102，接收到读取指令时，根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中，并根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址，根据所述物理存储地址读取数据。

当接收到数据的读取指令后，根据数据标识确定数据是存储于低速存储介质中还是高速存储介质中，并获取数据记录项中对应的虚拟块的地址信息，对存储介质的标识信息和存储数据的虚拟块的地址信息进行哈希运算，确定出待读取数据的实际物理存储地址，再到对应的物理存储地址读取该数据即可。

需要说明的是，在对数据存储时，同样需要根据对虚拟块地址及存储标识的哈希运算确定出实际存储的物理地址。

步骤103，将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息。

本发明实施例中，当某数据被访问后，还需要记录该数据被访问的次数及对该数据每次的访问时间。

步骤104，确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时，将所述数据从低速存储介质转存储至高速存储介质中；确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时，将所述数据从高速存储介质转存储至低速存储介质中。

这样，通过统计设定时间段如10分钟内数据被访问的次数，当该访问次数超出设定阈值如10次时，认为该数据被访问的频度较高，是热点数据，如果该数据此时存储于低速存储介质中，将该该数据存储至高速存储介质中。当更换存储地址时，需要同时更改该数据的存储介质的标识信息及对应的虚拟块的地址信息，以便对该数据访问时，能快速及时地确定出其物理存储地址。

同样地，当在设定时间段内如15分钟数据的访问次数低于设定阈值如3次时，则认为该数据的热度很低，如果该数据在高速存储介质中存储，则将其存储至低速存储介质中，同样地，需要同时更改该数据的存储介质的标识信息及对应的虚拟块的地址信息，以便对该数据访问时，能快速及时地确定出其物理存储地址。

以下通过具体示例，进一步阐明本发明实施例的技术方案的实质。

本发明实施例中，在组建分布式块存储系统时，将集群中每台服务器分别加入多块低速存储介质和多块高速存储介质，每台服务器上的低速存储介质和高速存储介质数量上不需要一致。管理软件识别出每台服务器上的不同速率的存储介质，并对这些存储介质进行分层管理。管理软件为高速存储介质建立一个哈希环，为低速存储介质建立一个哈希环。即通过两个哈希环来分别管理两种不同速率的存储介质。图2为本发明实施例的存储介质分层管理示意图，如图2所示，为每个逻辑卷按照预定的逻辑块大小分为多个逻辑块，为每一逻辑块设置逻辑地址(vdi)和存储标识HDD或者SSD，其中，HDD表示低速存储介质，SSD表示高速存储介质。

将逻辑块的逻辑地址(vdi)和存储标识(HDD：低速存储介质/SSD：高速存储介质)作为参数，进行哈希运算，得到逻辑块数据对应的物理存储地址。此处，利用存储标识，可以确定逻辑块数据存储在哪个物理存储介质的哈希环上，并根据逻辑地址算出数据存储落在哈希环的具体物理存储位置。

当有新数据写入时，新写入的数据都存储到高速存储介质中，则逻辑存储标识为SSD。即将高速存储介质作为写缓存使用。新数据都写入高速存储介质中。

当读取数据时，若该待读取数据存储在高速存储介质中时，则从高速存储介质中读取该数据，并将哈希命中次数及命中时间记录到该数据对应的访问次数中；当数据读取时，若该部分数据存储在低速存储介质中，则从低速存储介质中读取该数据，并将哈希命中次数及命中时间记录到该数据对应的访问次数中。在低速存储介质中，若在设定时间段内某数据的访问次数达到系统设置的上限值时，后台能够把该数据迁移至高速存储介质，并标识为热数据。

本发明实施例中，对冷热数据识别的方法是，充分利用哈希算法的特点，根据哈希算法得出存储地址的命中次数来辨别。命中次数的限额可以自行配置。若配置为5次，则当一定时间段内，访问数据的次数达到或超过5次，则认为该数据为热数据。反之则为冷数据。而如果冷数据存储于高速存储介质中，需将其迁移至低速存储介质中。

若管理软件判断出一些数据为热数据后，且该数据不在高速存储介质中，本方案能够在后台将该数据由低速存储介质迁移至高速存储介质中。同时，若在一段时间内，存储在高速存储介质中的数据没有被访问，则认为该数据为冷数据，本方案能够将该数据迁移至低速存储介质。

本发明实施例中，获取为所述服务器集群系统所分配的存储介质，并确定存储介质中的低速存储介质还是高速存储介质；为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识，并将低速存储介质和高速存储介质分别构建为哈希环；在对数据进行存储时，默认将数据均存储至高速存储介质中，以方便用户对新存储数据的访问；在接收到对数据的访问请求时，记录该数据被访问的时间及次数，在某数据在设定时间段如10分钟内达到设定的访问次数时，确定该数据为热数据，如果该数据存储至低速存储介质中，则将该数据迁移至高速存储介质，而如果高速存储介质中的数据在设定时间段内的访问次数低于设定阈值，则将该数据迁移至低速存储介质中。本发明通过对存储介质进行分层管理，实现了对不同数据访问的响应时间，对于访问热度比较高的数据，存储至高速存储介质中，提升了用户对热点数据的访问响应时间，从而提升了用户体验效果。

图3为本发明实施例的服务器集群系统中的数据管理装置的组成结构示意图，如图3所示，本发明实施例的服务器集群系统中的数据管理装置包括第一接收单元30、第一确定单元31、运算单元32、读取单元33、记录单元34、第二确定单元35和第一迁移单元36，其中：

第一接收单元30，用于接收读取指令，并触发所述第一确定单元；

第一确定单元31，用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中；

运算单元32，用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址；

读取单元33，用于根据所述物理存储地址读取数据；

记录单元34，用于在根据所述物理存储地址读取数据后，将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；

第二确定单元35，用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值，超出时触发所述第一迁移单元；

第一迁移单元36，用于将所述数据从低速存储介质转存储至高速存储介质中。

在图3所示的服务器集群系统中的数据管理装置的基础上，本发明实施例的服务器集群系统中的数据管理装置还包括：第二接收单元(图3中未示出)、写入单元(图3中未示出)和第一设置单元(图3中未示出)，其中：

第二接收单元，用于接收写入指令，并触发所述写入单元；

写入单元，用于将待写入数据写入高速存储介质中；

第一设置单元，用于为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

在图3所示的服务器集群系统中的数据管理装置的基础上，本发明实施例的服务器集群系统中的数据管理装置还包括：第三确定单元(图3中未示出)和第二迁移单元(图3中未示出)，其中：

第三确定单元，用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值，低于时触发所述第二迁移单元；

第二迁移单元，用于将所述数据从高速存储介质转存储至低速存储介质中。

在图3所示的服务器集群系统中的数据管理装置的基础上，本发明实施例的服务器集群系统中的数据管理装置还包括：第四确定单元(图3中未示出)、第二设置单元(图3中未示出)和构建单元(图3中未示出)，其中：

第四确定单元，用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；

第二设置单元，用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；

构建单元，用于将低速存储介质和高速存储介质分别构建为哈希环。

本领域技术人员应当理解，图3中所示的服务器集群系统中的数据管理装置中的各处理单元的实现功能可参照前述服务器集群系统中的数据管理方法及其实施例的相关描述而理解。本领域技术人员应当理解，图3所示的服务器集群系统中的数据管理装置中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明实施例的服务器集群系统中的数据管理装置适用于支持分布式数据管理的服务器中。

本发明实施例中，获取为所述服务器集群系统所分配的存储介质，并确定存储介质中的低速存储介质还是高速存储介质；为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识，并将低速存储介质和高速存储介质分别构建为哈希环；在对数据进行存储时，默认将数据均存储至高速存储介质中，以方便用户对新存储数据的访问；在接收到对数据的访问请求时，记录该数据被访问的时间及次数，在某数据在设定时间段如10分钟内达到设定的访问次数时，确定该数据为热数据，如果该数据存储至低速存储介质中，则将该数据迁移至高速存储介质，而如果高速存储介质中的数据在设定时间段内的访问次数低于设定阈值，则将该数据迁移至低速存储介质中。本发明通过对存储介质进行分层管理，实现了对不同数据访问的响应时间，对于访问热度比较高的数据，存储至高速存储介质中，提升了用户对热点数据的访问响应时间，从而提升了用户体验效果。

本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法、装置和电子设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加应用功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明实施例上述集成的单元如果以应用功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以应用产品的形式体现出来，该计算机应用产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的保护范围并不局限于此，熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种服务器集群系统中的数据管理方法，其特征在于，所述方法包括：

接收到读取指令时，根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中，并根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址，根据所述物理存储地址读取数据；

将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；

确定低速存储介质中数据在设定时间段内的访问次数超出设定阈值时，将所述数据从低速存储介质转存储至高速存储介质中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收到写入指令时，将待写入数据写入高速存储介质中，为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定高速存储介质中数据在设定时间段内的访问次数低于设定阈值时，将所述数据从高速存储介质转存储至低速存储介质中。

4.根据权利要求2所述的方法，其特征在于，在对数据进行读写之前，所述方法还包括：

确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；

为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；

并将低速存储介质和高速存储介质分别构建为哈希环。

5.一种服务器集群系统中的数据管理装置，其特征在于，所述装置包括：第一接收单元、第一确定单元、运算单元、读取单元、记录单元、第二确定单元和第一迁移单元，其中：

第一接收单元，用于接收读取指令，并触发所述第一确定单元；

第一确定单元，用于根据待读取数据对应的存储标识确定所述待读取数据存储于高速存储介质还是低速存储介质中；

运算单元，用于根据所述待存储数据的逻辑地址及存储标识进行哈希运算，确定所述待读取数据的物理存储地址；

读取单元，用于根据所述物理存储地址读取数据；

记录单元，用于在根据所述物理存储地址读取数据后，将哈希运算命中数据的物理存储地址的次数添加至数据的访问次数中，并记录数据的访问时间信息；

第二确定单元，用于确定低速存储介质中数据在设定时间段内的访问次数是否超出设定阈值，超出时触发所述第一迁移单元；

第一迁移单元，用于将所述数据从低速存储介质转存储至高速存储介质中。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：第二接收单元、写入单元和第一设置单元，其中：

第二接收单元，用于接收写入指令，并触发所述写入单元；

写入单元，用于将待写入数据写入高速存储介质中；

第一设置单元，用于为写入的数据设置高速存储的标识，并记录所述数据的逻辑地址。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：第三确定单元和第二迁移单元，其中：

第三确定单元，用于确定高速存储介质中数据在设定时间段内的访问次数是否低于设定阈值，低于时触发所述第二迁移单元；

第二迁移单元，用于将所述数据从高速存储介质转存储至低速存储介质中。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述装置还包括：第四确定单元、第二设置单元和构建单元，其中：

第四确定单元，用于确定为所述服务器集群系统所分配的存储介质中的低速存储介质和高速存储介质；

第二设置单元，用于为所分配的存储介质设置为包含多个逻辑块的逻辑卷，为每一逻辑块设置逻辑地址、以及高速或低速存储的标识；

构建单元，用于将低速存储介质和高速存储介质分别构建为哈希环。