CN107908367A

CN107908367A - 存储系统中数据存储的方法、装置、设备及存储介质

Info

Publication number: CN107908367A
Application number: CN201711139491.8A
Authority: CN
Inventors: 刘国枢
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-11-16
Filing date: 2017-11-16
Publication date: 2018-04-13

Abstract

本发明公开了一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，包括：实时接收待写入数据的请求；根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；如果是，则将所述热数据分配至热数据存储介质进行写入存储；如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。本发明所采用的数据存储的方法，在保证整个系统的性能的基础上，在极大程度上降低了能耗。本发明还提供了一种存储系统中数据存储的装置、设备及计算机可读存储介质，具有上述有益效果。

Description

存储系统中数据存储的方法、装置、设备及存储介质

技术领域

本发明涉及分布式存储系统领域，特别是涉及一种存储系统中数据存储的方法、装置、设备及计算机可读存储介质。

背景技术

随着分布式存储系统中存储数据的数据量以指数级的速度增长，存储的需求量必然持续的增加，进而更大规模的存储系统也会增加。但是大规模的存储系统带来存储数据的功耗也随之增加。随着存储系统规模的迅猛增长，大型存储系统的功耗问题就变得日趋严重。

发明内容

本发明的目的是提供一种存储系统中数据存储的方法，解决了大型存储系统的功耗过大的问题，在保证存储系统的存储性能的基础上，降低功耗。

本发明的另一目的是提供一种存储系统中数据存储的装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，包括：

实时接收待写入数据的请求；

根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；

如果是，则将所述热数据分配至热数据存储介质进行写入存储；

如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。

其中，所述根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据包括：

当接收待写入数据的请求的数量达到预设数量阈值时，查询日志记录中各个待写入数据被访问的记录；

根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到第一预设次数阈值的热数据。

其中，在根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据之后，还包括：

判断第二预设时间段内，所述待写入数据中热数据所占的比例是否超过预设比例阈值，如果是，则调整所述第一预设次数阈值为第二预设次数阈值，所述第二预设次数阈值大于所述第一预设次数阈值。

其中，所述将所述热数据分配至热数据存储介质进行写入存储包括：

判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。

将多个所述热数据通过Hash运算分配至多个不同的热数据存储介质。

本发明还提供一种存储系统中数据存储的装置，应用于CEPH分布式存储系统，包括：

接收模块，用于实时接收待写入数据的信息；

判断模块，用于根据各个所述待写入数据的日志记录判断各个所述待写入数据中是否存在热数据；

分配模块，用于如果各个所述待写入数据中存在热数据，则将所述热数据分配至热数据存储介质进行存储，如果各个所述待写入数据中不存在热数据，则将所述待写入数据分配至冷数据存储介质进行存储。

其中，所述判断模块用于当接收到待写入数据的信息的数量达到预设数量阈值时，查询各个待写入数据的日志记录，根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到预设次数阈值的热数据。

其中，所述分配模块用于判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。

本发明还提供一种存储系统中数据存储的设备，应用于CEPH分布式存储系统，包括：

存储器，用于存储数据存储程序；

处理器，用于执行所述数据存储程序时实现如上任一项所述数据存储方法的步骤。

本发明还提供一种计算机可读存储介质，应用于CEPH分布式存储系统，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如上任一项所述数据存储方法的步骤。

本发明所提供的存储系统中数据存储的方法，应用于CEPH分布式存储系统，通过将待写入的数据进行冷热数据的划分，将热数据优先采用高能耗处理数据速度更快的处理器和高速存储介质，反之，将冷数据优先采用低能耗处理数据速度更慢的处理器和低速存储介质。进而对存储介质进行了合理化的分配，使得被更频繁访问的数据能够快速的存储，从而保证了整个存储系统的存储性能，而相对访问频率较低的数据，可以降低存储速度，对数据的访问影响也不大，但是却能够在极大程度上减小整个存储系统的耗能。本发明所采用的数据存储的方法，在保证整个系统的性能的基础上，在极大程度上降低了能耗。

本发明还提供了一种存储系统中数据存储的装置、设备及计算机可读存储介质，具有上述有益效果。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的具体实施例中存储系统中数据存储的方法的流程图；

图2为本发明实施例提供的存储系统中数据存储的装置的结构框图；

图3为本发明实施例提供的存储系统中数据存储的设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的具体实施例中存储系统中数据存储的方法的流程图，应用于CEPH分布式存储系统，该方法可以包括：

步骤S101：实时接收待写入数据的请求。

具体的，是指客户端发送的写数据请求。

步骤S102：根据各个待写入数据的日志记录，判断各个待写入数据中是否存在热数据，如果是，则进入步骤S103，如果否，则进入步骤S104。

步骤S103：将热数据分配至热数据存储介质进行写入存储。

步骤S104：将待写入数据分配至冷数据存储介质进行写入存储。

需要说明的是步骤S102的目的是将冷数据和热数据进行划分，对多个待写入数据分类后，将热数据存储至热数据对应的存储介质中，冷数据存储至冷数据对应的存储介质中。本发明中热数据存储介质即为高性能的存储介质，冷数据存储介质即为低性能的存储介质。

目前，用户在采用CEPH分布式存储系统存储数据时，对于存储系统中的多个存储介质，是随机分配的。但是对于系统中的存储介质的性能是存在高性能存储介质和低性能存储介质的区别，高性能的存储介质的主机运行速度更快，能够将数据更快速的存储到存储介质中，但是相应的高性能的存储介质在存储数据时，所耗费的能量也相对较多。而低性能的存储介质在存储数据时主机运行速度会相对较慢，但是同样的耗能也会相对较低。

在实际存储过程中，如果对于某些被访问的频率相对较高的数据，恰好分配至低性能的存储介质，那么就必然影响用户对该数据的正常访问，从而影响整个存储系统的性能，而如果将大量的数据都分配至高性能的存储介质进行存储，就必然会增加整个系统的耗能。

为此，本发明中有目的对待写入的数据进行分类，在根据数据的冷热数据类别将数据分别存储在相应的数据存储介质中，在保证存储系统的性能的基础上减小了耗能。

本发明中还提供了对待写入的数据分配存储至不同的存储介质中时，对不同的分配策略，在能耗和写入速度上的区别进行对比的两组对比实验，具体的如表1和表2所示。

表1：

如表1所示，高性能存储和低性能存储的分配策略分别是指只采用高性能存储介质和低性能存储介质存储相同数据时的能耗。对于平均存储对所有数据的分配仍然为随机分配但是保证高性能存储介质和低性能存储介质中分配的数据的数量相同，而分类存储即为本发明中的存储方案，将数据进行冷热数据的分类后，在分配至相应的存储介质中，需要说明的是，在总体上而言所有数据中冷热数据的数量大体是相等的。因此，由表1可知，减小耗能的关键在于将各个数据均分到高性能存储介质和低性能存储介质。

表2：

如表2所示，可以知道对于相同大小的文件数据，全部采用高性能存储介质进行存储时耗时最短，而采用本发明中分类存储的存储方式，也能够在极大程度上减小了存储数据的耗能时间，和完全采用高性能存储介质存储数据所耗费的时间相差较小。

综上所述，采用本发明的技术方案的存储数据的方式，能够在降低耗能的基础上，减小存储数据所耗费的时长，从而提高存储设备的性能。

基于上述实施例，对于冷热数据的判断方法可以进一步限定，在本发明的另一具体实施例中，可以包括：

当接收待写入数据的请求的数量达到预设数量阈值时，查询日志记录中各个待写入数据被访问的记录；因为写入数据的请求一般在实际过程中比较频繁，可以当写入请求达到一定数量后，再集中处理各个写入请求，避免过于频繁的处理写入数据的请求。

根据各个待写入数据在第一预设时间段内被访问的次数，判断各个待写入数据是否存在被访问次数达到第一预设次数阈值的热数据。

需要说明的是，对于冷数据和热数据的分类，本实施例中主要是从被访问的频率上进行区分，例如，对于原始数据和备份数据，两种数据的内容可能完全相同，但是原始数据被访问的频率明显高于备份数据，那么原始数据即为热数据，而备份数据为冷数据。当然本发明中也可以从数据的重要性上进行冷热数据的划分或者其他划分冷热数据的方式，在此不再一一赘述。

考虑到如果第一预设次数阈值的大小设置的过小，那么可能出现热数据过多导致存储系统性能下降且耗能过多的问题。因此对于上述实施例还可以作进一步的改进。因此，在本发明的另一具体实施例中还可以包括：

判断第二预设时间段内，待写入数据中热数据所占的比例是否超过预设比例阈值，如果是，则调整第一预设次数阈值为第二预设次数阈值，第二预设次数阈值大于第一预设次数阈值。

需要说明的是，本发明中的第二预设时间段的时长应不小于每次接收到的写入请求的数量累计到预设数量阈值所需要耗费的时长。而更优选的实施方式是，第二预设时间段的时长等于多次接收到的写入请求的数量累计到预设数量阈值所需要耗费的时长，那么如果该段时间内划分的热数据的数量远高于所有数据总数量的50％，那么可以认为该第一预设次数阈值过小，因此，可以适当减小第一预设次数阈值。反之，当冷数据的数量占总的数据的数量的比例过大时，则说明该第一预设次数阈值设置过大，那么可以以相同的方式减小第一预设次数阈值。

基于上述任意实施例，因为在数据存储时，对于同一份文件中相互联系的数据，往往是分成若干份数据进行存储，当其中一份数据丢失时，可以根据其他相关联的数据进行数据恢复。而存储在同一存储介质中的数据，同时丢失的概率相对较大，因此，本发明的另一具体实施例中可以进一步包括：

判断多个热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的热数据分配至多个不同的热数据存储介质进行写入存储。

通过将属于同一文件的数据存储至不同的存储介质，提高数据的安全性。对于判断各个数据之间是否存在联系，可以通过对数据的运算而获得。同理，对于冷数据的存储，同样可以采用相同的实施方式进行存储，避免相关联的数据存储在同一个存储介质中。

基于上述任意实施例，为了避免数据过于集中分配至某一个存储介质中，导致数据排队等候写入的时间较长，影响存储系统的存储性能，本发明的另一具体实施例中，可以进一步改进，具体包括：

将多个所述热数据通过Hash运算分配至多个不同的热数据存储介质，保证各个热数据以大概均分的方式分配至各个高性能存储介质中进行存储。而对于冷数据的存储，也可以以相同方式进行存储。

下面对本发明实施例提供的存储系统中数据存储的装置进行介绍，下文描述的存储系统中数据存储的装置与上文描述的存储系统中数据存储的方法可相互对应参照。

图2为本发明实施例提供的存储系统中数据存储的装置的结构框图，参照图2存储系统中数据存储的装置可以包括：

接收模块20，用于实时接收待写入数据的信息；

判断模块21，用于根据各个所述待写入数据的日志记录判断各个所述待写入数据中是否存在热数据；

分配模块22，用于如果各个所述待写入数据中存在热数据，则将所述热数据分配至热数据存储介质进行存储，如果各个所述待写入数据中不存在热数据，则将所述待写入数据分配至冷数据存储介质进行存储。

可选的，判断模块21用于当接收到待写入数据的信息的数量达到预设数量阈值时，查询各个待写入数据的日志记录，根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到预设次数阈值的热数据。

可选的，分配模块22用于判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的热数据分配至多个不同的热数据存储介质进行写入存储。

本实施例的存储系统中数据存储的装置用于实现前述的存储系统中数据存储的方法，因此存储系统中数据存储的装置中的具体实施方式可见前文中的存储系统中数据存储的方法的实施例部分，例如，接收模块20，用于实现上述存储系统中数据存储的方法中步骤S101，判断模块21，用于实现上述方法中步骤S102，分配模块22，用于实现上述方法中步骤S103和S104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明还提供了一种存储系统中数据存储的设备具体实施例，如图3所示，应用于CEPH分布式存储系统，具体可以包括：

存储器31，用于存储数据存储程序；

处理器32，用于执行数据存储程序时实现如上任一项所述数据存储方法的步骤。

本发明还提供了一种计算机可读存储介质具体实施例，应用于CEPH分布式存储系统，具体可以包括：

计算机可读存储介质上存储有数据存储程序，数据存储程序被处理器执行时实现如上任一项所述数据存储方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的存储系统中数据存储方法、装置、设备及计算机存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，其特征在于，包括：

实时接收待写入数据的请求；

2.根据权利要求1所述的方法，其特征在于，所述根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据包括：

3.根据权利要求2所述的方法，其特征在于，在根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据之后，还包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述热数据分配至热数据存储介质进行写入存储包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述热数据分配至热数据存储介质进行写入存储包括：

6.一种存储系统中数据存储的装置，应用于CEPH分布式存储系统，其特征在于，包括：

接收模块，用于实时接收待写入数据的信息；

7.根据权利要求6所述的装置，其特征在于，所述判断模块用于当接收到待写入数据的信息的数量达到预设数量阈值时，查询各个待写入数据的日志记录，根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到预设次数阈值的热数据。

8.根据权利要求6或7所述的装置，其特征在于，所述分配模块用于判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。

9.一种存储系统中数据存储的设备，应用于CEPH分布式存储系统，其特征在于，包括：

存储器，用于存储数据存储程序；

处理器，用于执行所述数据存储程序时实现如权利要求1-5任一项所述数据存储方法的步骤。

10.一种计算机可读存储介质，应用于CEPH分布式存储系统，其特征在于，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如权利要求1-5任一项所述数据存储方法的步骤。