CN112463074B - 一种数据分类存储方法、系统、终端及存储介质 - Google Patents

Abstract

本发明提供一种数据分类存储方法、系统、终端及存储介质，包括：将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；利用质心距离计算方法获取待存储数据所属的实际数据种类；根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。本发明充分利用存储设备的特性，并将数据通过算法进行区分。使对应的数据存储在对应的存储设备之中。在整体过程中，提高了数据存储能力。

Description

一种数据分类存储方法、系统、终端及存储介质

技术领域

本发明涉及服务器技术领域，具体涉及一种数据分类存储方法、系统、终端及存储介质。

背景技术

随着人工智能与大数据产业的不断发展，数据存储量也大量增加。常用的存储介质有内存、非易失性内存、固态硬盘和机械硬盘。内存是计算机中重要的部件之一，它是外存与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。内存(Memory)也被称为内存储器和主存储器，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。只要计算机在运行中，操作系统就会把需要运算的数据从内存调到CPU中进行运算，当运算完成后CPU再将结果传送出来，内存的运行也决定了计算机的稳定运行。内存条是由内存芯片、电路板、金手指等部分组成的。

非易失性内存，具有非易失、按字节存取、存储密度高、低能耗、读写性能接近DRAM，但读写速度不对称，读远快于写，寿命有限。当电流关掉后,所存储的数据不会消失的计算机存储器

机械硬盘(HDD)是传统硬盘，工作时，磁头悬浮在高速旋转的碟片上进行读写数据。机械硬盘是集精密机械、微电子电路、电磁转换为一体的电脑存储设备。

固态硬盘(SSD)是由多个闪存芯片加主控以及缓存组成的阵列式存储，属于以固态电子存储芯片阵列制成的硬盘。相对机械硬盘，读取速度更快，寻道时间更小，可加快操作系统启动速度和软件启动速度。

傲腾内存。习惯上大家叫aep，实际上这个称呼并不十分正确，正确的叫法应该是：DCPM或傲腾DCPM，全称是：optane DC(data center)persistent memory，而aep(Apachepass)是指基于3D xpoint的持久化内存，并不完全等同于DCPM。Memory Mode：需要大容量内存、不需要更改应用的场景。

现有数据分类存储方法不区分数据访问频率，顺序存储，或者区分冷热数据，但只有存储在SSD和HDD的区别。

现有数据分类存储方法存在以下缺点：若顺序存储，则不常用的数据可能储存在存储性能较好的设备中，而常用的数据存储在存储性能较差的设备中；不常用的数据和常用的数据均存储在存储性能较好的设备，但造成了随机读写，因此造成性能较低。若只有存储在SSD和HDD的区别，区分力度较小，并且没有较为统一的方式方法，未考虑顺序读写与随机读写。

发明内容

针对现有技术的上述不足，本发明提供一种数据分类存储方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种数据分类存储方法，包括：

将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

利用质心距离计算方法获取待存储数据所属的实际数据种类；

根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。

进一步的，所述将数据按访问频率大小划分为多种数据种类并设置各数据种类对应的存储介质类型，包括：

设置目标分类种类，所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据；

预先准备包括各种数据种类的频率数据集合；

利用聚类算法对所述频率数据集合进行聚类，得到各数据种类对应的频率质心；

设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存。

进一步的，所述利用质心距离计算方法获取待存储数据所属的实际数据种类，包括：

获取待存储数据的实际访问频率；

分别计算所述实际访问频率与各数据种类频率质心的距离；

筛选出最小距离，并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。

进一步的，所述方法还包括：

采集当前内存可用资源和极热数据量；

若当前内存可用资源低于预设阈值，则根据极热数据量将非易失性内存的相应容量资源划分为内存模式；

所述非易失性内存的非内存模式部分采用固态硬盘模式。

进一步的，所述方法还包括：

判断极热数据和热数据中是否存在重要数据：

若是，则将重要数据备份至机械硬盘的低性能部分。

第二方面，本发明提供一种数据分类存储系统，包括：

分类设置单元，配置用于将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

分类获取单元，配置用于利用质心距离计算方法获取待存储数据所属的实际数据种类；

分类存储单元，配置用于根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。

进一步的，所述分类设置单元包括：

目标分类模块，配置用于设置目标分类种类，所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据；

集合准备模块，配置用于预先准备包括各种数据种类的频率数据集合；

质心计算模块，配置用于利用聚类算法对所述频率数据集合进行聚类，得到各数据种类对应的频率质心；

对应设置模块，配置用于设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存。

进一步的，所述分类获取单元包括：

频率获取模块，配置用于获取待存储数据的实际访问频率；

距离计算模块，配置用于分别计算所述实际访问频率与各数据种类频率质心的距离；

种类筛选模块，配置用于筛选出最小距离，并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的数据分类存储方法、系统、终端及存储介质，充分利用存储设备的特性，并将数据通过算法进行区分。使对应的数据存储在对应的存储设备之中。在整体过程中，提高了数据存储能力。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种数据分类存储系统。

如图1所示，该方法包括：

步骤110，将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

步骤120，利用质心距离计算方法获取待存储数据所属的实际数据种类；

步骤130，根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。

具体的，所述数据分类存储方法包括：

S1、将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型。

将数据块按访问频率进行区分为极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据。分别记作HH、H、HW、MW、LW、C、HC。

将数据块按访问频率分为以单位时间评估数据的访问频率，其单位时间分别为秒、分、时、天、周、年，其数据访问频率可以记作为N/S，N/M，N/H， N/D，N/W，N/Y。

将分类结果加入各个访问频率因素，记作HH(N/S，N/M，N/H，N/D，N/W， N/Y)、H(N/S，N/M，N/H，N/D，N/W，N/Y)、HW(N/S，N/M，N/H，N/D，N/W， N/Y)、MW(N/S，N/M，N/H，N/D，N/W，N/Y)、LW(N/S，N/M，N/H，N/D，N/W，N/Y)、C(N/S，N/M，N/H，N/D，N/W，N/Y)、HC(N/S，N/M，N/H，N/D，N/W， N/Y)。

将HH、H、HW、MW、LW、C、HC的数据特点有训练数据计算出。

设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存。

S2、利用质心距离计算方法获取待存储数据所属的实际数据种类。

当出现一个新数据为X(N/S，N/M，N/H，N/D，N/W，N/Y)。分别计算新数据访问频率与各数据种类频率质心的距离的方法如下：

1、数据准备：假设隶属于极热数据有1000组，隶属于热数据有1000组，隶属于高温数据有1000组，隶属于中温数据有1000组，隶属于低温数据有1000 组，隶属于冷数据有1000组，隶属于极冷数据有1000组。

2、距离计算：(1)根据质心距离计算出分类dHH＝根号开方((1N/S-XN/S) 2+……+(1N/Y-XN/Y)2+……+(1000N/S-XN/S)2+……+(1000N/Y-XN/Y)2)，计算出新数据与极热数据类质心距离。(2)根据质心距离计算出分类dH＝根号开方((1N/S-XN/S)2+……+(1N/Y-XN/Y)2+……+(1000N/S-XN/S)2+……+ (1000N/Y-XN/Y)2)，计算出新数据与热数据类质心距离。(3)根据质心距离计算出分类dHW＝根号开方((1N/S-XN/S)2+……+(1N/Y-XN/Y)2+……+ (1000N/S-XN/S)2+……+(1000N/Y-XN/Y)2)，计算出新数据与高温数据类质心距离。(4)根据质心距离计算出分类dMW＝根号开方((1N/S-XN/S)2+…… +(1N/Y-XN/Y)2+……+(1000N/S-XN/S)2+……+(1000N/Y-XN/Y)2)，计算出新数据与中温数据类质心距离。(5)根据质心距离计算出分类dLW＝根号开方((1N/S-XN/S)2+……+(1N/Y-XN/Y)2+……+(1000N/S-XN/S)2+……+ (1000N/Y-XN/Y)2)，计算出新数据与低温数据类质心距离。(6)根据质心距离计算出分类dC＝根号开方((1N/S-XN/S)2+……+(1N/Y-XN/Y)2+……+ (1000N/S-XN/S)2+……+(1000N/Y-XN/Y)2)，计算出新数据与冷数据类质心距离。(7)根据质心距离计算出分类dHC＝根号开方((1N/S-XN/S)2+…… +(1N/Y-XN/Y)2+……+(1000N/S-XN/S)2+……+(1000N/Y-XN/Y)2)，计算出新数据与极冷数据类质心距离。(8)MIN(dHH，dH，dHW，dMW，dLW，dC， dHC)，取其中最小值，最小值即为分类结果。

在本发明的其他实施方式中，可以采用k-means对步骤1准备的数据进行聚类训练，得到聚类模型，进而得到各数据种类的频率质心(均值点)，然后将新数据的实际频率输入聚类模型，通过计算新数据实际频率与各数据种类的频率质心的距离，进而得到新数据所属的实际数据种类。

S3、根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。

存储设备分为内存、非易失性内存、固态硬盘和机械硬盘。将冷数据和极冷数据均存储在机械硬盘中，但机械硬盘需根据性能分为性能高和性能低的部分，分别存储冷数据和极冷数据。将高温数据、温数据和低温数据存储在固态硬盘中，但固态硬盘需根据性能分为性能高、性能中、性能低的部分，分别对应存储高温数据、温数据和低温数据。极热数据存储在内存当中。热数据存储在非易失性内存中。

由于非易失性内存可以设置为内存模式和SSD模式，因此可以形成动态切换的机制。切换模式，根据以下方法执行：当极热数据较多，当前系统内存容量又无法完全将其存储，此时将非易失性内存将转换为内存模式，从而扩展了内存容量，提高了极热数据的处理能力；当极热数据和热数据均较多时，可将非易失性内存转换为内存和SSD混合模式，从而提高了极热数据和热数据的处理能力。

当极热数据和热数据中存在重要数据，将重要数据整体备份至机械硬盘中性能较低的部分。

如图2所示，该系统200包括：

分类设置单元210，配置用于将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

分类获取单元220，配置用于利用质心距离计算方法获取待存储数据所属的实际数据种类；

分类存储单元230，配置用于根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中。

可选地，作为本发明一个实施例，所述分类设置单元包括：

目标分类模块，配置用于设置目标分类种类，所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据；

集合准备模块，配置用于预先准备包括各种数据种类的频率数据集合；

质心计算模块，配置用于利用聚类算法对所述频率数据集合进行聚类，得到各数据种类对应的频率质心；

对应设置模块，配置用于设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存。

可选地，作为本发明一个实施例，所述分类获取单元包括：

频率获取模块，配置用于获取待存储数据的实际访问频率；

距离计算模块，配置用于分别计算所述实际访问频率与各数据种类频率质心的距离；

种类筛选模块，配置用于筛选出最小距离，并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。

图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的数据分类存储方法。

其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310 执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称： ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

因此，本发明充分利用存储设备的特性，并将数据通过算法进行区分。使对应的数据存储在对应的存储设备之中。在整体过程中，提高了数据存储能力，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种数据分类存储方法，其特征在于，包括：

将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

利用质心距离计算方法获取待存储数据所属的实际数据种类；

根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中；

所述将数据按访问频率大小划分为多种数据种类并设置各数据种类对应的存储介质类型，包括：

设置目标分类种类，所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据；

预先准备包括各种数据种类的频率数据集合；

利用聚类算法对所述频率数据集合进行聚类，得到各数据种类对应的频率质心；

设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存；

所述方法还包括：

采集当前内存可用资源和极热数据量；

若当前内存可用资源低于预设阈值，则根据极热数据量将非易失性内存的相应容量资源划分为内存模式；

所述非易失性内存的非内存模式部分采用固态硬盘模式。

2.根据权利要求1所述的方法，其特征在于，所述利用质心距离计算方法获取待存储数据所属的实际数据种类，包括：

获取待存储数据的实际访问频率；

分别计算所述实际访问频率与各数据种类频率质心的距离；

筛选出最小距离，并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断极热数据和热数据中是否存在重要数据：

若是，则将重要数据备份至机械硬盘的低性能部分。

4.一种数据分类存储系统，其特征在于，包括：

分类设置单元，配置用于将数据按访问频率大小划分为多种数据种类，并设置各数据种类对应的存储介质类型；

分类获取单元，配置用于利用质心距离计算方法获取待存储数据所属的实际数据种类；

分类存储单元，配置用于根据所述待存储数据的实际数据种类，将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中；

所述分类设置单元包括：

目标分类模块，配置用于设置目标分类种类，所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据；

集合准备模块，配置用于预先准备包括各种数据种类的频率数据集合；

质心计算模块，配置用于利用聚类算法对所述频率数据集合进行聚类，得到各数据种类对应的频率质心；

对应设置模块，配置用于设置极冷数据对应低性能机械硬盘，冷数据对应高性能机械硬盘，低温数据对应低性能固态硬盘，温数据对应中性能固态硬盘，高温数据对应高性能固态硬盘，热数据对应非易失性内存，极热数据对应内存；

所述系统还用于：

采集当前内存可用资源和极热数据量；

若当前内存可用资源低于预设阈值，则根据极热数据量将非易失性内存的相应容量资源划分为内存模式；

所述非易失性内存的非内存模式部分采用固态硬盘模式。

5.根据权利要求4所述的系统，其特征在于，所述分类获取单元包括：

频率获取模块，配置用于获取待存储数据的实际访问频率；

距离计算模块，配置用于分别计算所述实际访问频率与各数据种类频率质心的距离；

种类筛选模块，配置用于筛选出最小距离，并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。

6.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-3任一项所述的方法。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。

Images