CN107506146A

CN107506146A - 一种数据存储系统

Info

Publication number: CN107506146A
Application number: CN201710756228.7A
Authority: CN
Inventors: 崔星辰
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-08-29
Filing date: 2017-08-29
Publication date: 2017-12-22

Abstract

本申请公开了一种数据存储系统，包括处理器，用于统计数据的频率并依据频率分配所述数据；与所述处理器连接的至少一个第一类型存储硬盘，用于存储出现频率高于第一预设阈值的数据；与所述处理器连接的至少一个读写速率低于所述第一类型存储硬盘的第二类型存储硬盘，用于存储出现频率低于所述第一预设阈值的数据；与所述处理器连接的动态存储硬盘，用于存储多余的临时数据。上述数据存储系统，能够根据数据的出现频率来分类存储数据，并且在不降低采样频率和存储粒度的情况下，提高数据存储量，降低数据丢失的概率。

Description

一种数据存储系统

技术领域

本发明属于存储系统技术领域，特别是涉及一种数据存储系统。

背景技术

随着互联网的发展与进步，全球的数据量每天都以极大的速度在增长，面对越来越庞大的数据，数据存储系统的优化与升级变得越来越重要。传统的存储系统，采用的是集中的存储服务器存储所有数据，存储系统成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。而分布式存储系统，是将数据分散存储在多台独立的设备上，采用可扩展的系统结构，利用多台存储器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，但是随着数据量的增多，分布式存储也无法满足存储要求。

为了增加存储数据量，可以采取以下方法：降低采样频率，提高采样的时间间隔，降低采样频率，可以达到增加存储量的目的，但是会导致数据的部分丢失；降低存储粒度，可以增加数据的存储量，但是同样会导致数据的部分丢失；扩充存储空间，通过增加存储硬盘，来达到增加数据存储量的目的，但是会大大提高存储系统的成本。

发明内容

为解决上述问题，本发明提供了一种数据存储系统，能够根据数据的出现频率来分类存储数据，并且在不降低采样频率和存储粒度的情况下，提高数据存储量，降低数据丢失的概率。

本发明提供的一种数据存储系统，包括：

处理器，用于统计数据的频率并依据频率分配所述数据；

与所述处理器连接的至少一个第一类型存储硬盘，用于存储出现频率高于第一预设阈值的数据；

与所述处理器连接的至少一个读写速率低于所述第一类型存储硬盘的第二类型存储硬盘，用于存储出现频率低于所述第一预设阈值的数据；

与所述处理器连接的动态存储硬盘，用于存储多余的临时数据。

优选的，在上述数据存储系统中，还包括与所述处理器连接的至少一个第三类型存储硬盘，用于存储出现频率低于第二预设阈值的数据，且所述第二类型存储硬盘用于存储出现频率在所述第一预设阈值和所述第二预设阈值之间的数据。

优选的，在上述数据存储系统中，所述处理器还用于动态分析数据的频率并根据当前的频率调整所述数据的存储位置。

优选的，在上述数据存储系统中，所述第一类型存储硬盘、所述第二类型存储硬盘和所述动态存储硬盘中均设置有数据检索表，用于存储出现频率高于第三预设阈值的数据，用于优先检索高频数据。

优选的，在上述数据存储系统中，所述第一类型存储硬盘为固态硬盘。

优选的，在上述数据存储系统中，所述第二类型存储硬盘为HDD或HHD。

优选的，在上述数据存储系统中，所述动态存储硬盘为固态硬盘。

优选的，在上述数据存储系统中，所述第三类型存储硬盘为HDD或HHD。

优选的，在上述数据存储系统中，所述第一类型存储硬盘的数量为二个。

优选的，在上述数据存储系统中，所述第二类型存储硬盘的数量为二个。

通过上述描述可知，本发明提供的上述数据存储系统，由于包括处理器，用于统计数据的频率并依据频率分配所述数据；与所述处理器连接的至少一个第一类型存储硬盘，用于存储出现频率高于第一预设阈值的数据；与所述处理器连接的至少一个读写速率低于所述第一类型存储硬盘的第二类型存储硬盘，用于存储出现频率低于所述第一预设阈值的数据；与所述处理器连接的动态存储硬盘，用于存储多余的临时数据，这就能利用读写速率更高的硬盘存储频率更高的数据，且利用读写速率较低的硬盘存储频率较低的数据，兼顾数据读写速率和存储量，从而能够根据数据的出现频率来分类存储数据，并且在不降低采样频率和存储粒度的情况下，提高数据存储量，降低数据丢失的概率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的第一种数据存储系统的示意图。

具体实施方式

本发明的核心思想在于提供一种数据存储系统，能够根据数据的出现频率来分类存储数据，并且在不降低采样频率和存储粒度的情况下，提高数据存储量，降低数据丢失的概率。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的第一种数据存储系统如图1所示，图1为本申请实施例提供的第一种数据存储系统的示意图，该系统包括：

处理器1，用于统计数据的频率并依据频率分配所述数据，具体的，当所述数据的出现频率位于第一类型存储硬盘对应的存储频率区间内时，确定其为第一类型数据；当所述数据的出现频率位于第二类型存储硬盘对应的存储频率区间内时，确定其为第二类型数据；

与所述处理器1连接的至少一个第一类型存储硬盘2，用于存储出现频率高于第一预设阈值的数据；

与所述处理器1连接的至少一个读写速率低于所述第一类型存储硬盘2的第二类型存储硬盘3，用于存储出现频率低于所述第一预设阈值的数据；

与所述处理器1连接的动态存储硬盘4，用于存储多余的临时数据。

需要说明的是，该方案中，存储硬盘的类型是根据数据出现的频率来进行划分的，第一类型存储硬盘用来存储出现频率最高的数据，且拥有最快的数据读写速度，第二类型存储硬盘用来存储出现频率次之的数据，且拥有比第一类型存储硬盘更低的数据读写速度，动态存储硬盘用来动态的临时存储数据，即某一类型的硬盘存储满了且还有剩余数据未存入时，可利用动态存储硬盘存储这一部分数据，其读写速度可以与第一类型存储硬盘一致，如果出现多个类型的存储器存储容量不够，则根据优先级来使用动态存储器，第一类型数据的优先级大于第二类型数据的优先级。

通过上述描述可知，本申请实施例提供的上述第一种数据存储系统，由于包括处理器，用于统计数据的频率并依据频率分配所述数据；与所述处理器连接的至少一个第一类型存储硬盘，用于存储出现频率高于第一预设阈值的数据；与所述处理器连接的至少一个读写速率低于所述第一类型存储硬盘的第二类型存储硬盘，用于存储出现频率低于所述第一预设阈值的数据；与所述处理器连接的动态存储硬盘，用于存储多余的临时数据，这就能利用读写速率更高的硬盘存储频率更高的数据，且利用读写速率较低的硬盘存储频率较低的数据，兼顾数据读写速率和存储量，从而能够根据数据的出现频率来分类存储数据，并且在不降低采样频率和存储粒度的情况下，提高数据存储量，降低数据丢失的概率。

本申请实施例提供的第二种数据存储系统，是在上述第一种数据存储系统的基础上，还包括如下技术特征：

还包括与所述处理器连接的至少一个第三类型存储硬盘，用于存储出现频率低于第二预设阈值的数据，且所述第二类型存储硬盘用于存储出现频率在所述第一预设阈值和所述第二预设阈值之间的数据。

在这种情况下，第一类型数据可以是出现频率在85％以上，第二种类型数据的出现频率可以在85％和40％之间，第三种类型数据可以是在40％以下。需要说明的是，在这种情况下，能够对数据进行更细的划分，更好的兼顾数据读写速率和存储空间。

本申请实施例提供的第三种数据存储系统，是在上述第一种数据存储系统的基础上，还包括如下技术特征：

所述处理器还用于动态分析数据的频率并根据当前的频率调整所述数据的存储位置。

具体的，处理器一直在动态分析数据的出现频率，并及时对数据的存储位置进行调整。如果某个第一类数据的出现频率降低至第二类数据的频率区间内，则将其由第一类型存储硬盘移动到第二类型存储硬盘，反之，当某个第二类型数据的出现频率提高到第一类型数据的频率区间内，将其由第二类型存储硬盘移动到第一类型存储硬盘，以此类推，动态存储硬盘中的数据移动也参照上述标准，这样就能够根据实时数据频率情况来分配数据存储的位置，保证数据读写速率足够高。

本申请实施例提供的第四种数据存储系统，是在上述第一种数据存储系统的基础上，还包括如下技术特征：

所述第一类型存储硬盘、所述第二类型存储硬盘和所述动态存储硬盘中均设置有数据检索表，用于存储出现频率高于第三预设阈值的数据，用于优先检索高频数据。

具体的，在每一个类型的数据存储硬盘中，动态存放一张数据检索表，此检索表存储的为该数据存储硬盘中出现频率最高的部分数据。当需要进行数据检索时，先在各个检索表中查看是否存在该数据，如果存在该数据，则直接提取；如果不存在该数据，则按照第一类型存储硬盘、第二类型存储硬盘、动态存储硬盘的顺序进行查找。以第一类型存储硬盘为例，假如该硬盘中存储数据个数为N，则选取其中出现频率最高的前n(n<<N)个数据(比例可优选为95％)组成一个检索表。当需要查询数据时，先从表中检索，再挨个遍历存储硬盘，此检索表为动态表格，当频率最高的n个数据内容发生变化时，可更新表格内容。

本申请实施例提供的第五种数据存储系统，是在上述第一种至第四种数据存储系统中任一种的基础上，还包括如下技术特征：

所述第一类型存储硬盘为固态硬盘。

需要说明的是，第一类存储硬盘存储的是出现频率最高的数据，需要最快的读写性能来满足数据的吞吐量，因此可以用SSD来作为第一类型存储硬盘。

本申请实施例提供的第六种数据存储系统，是在上述第五种数据存储系统的基础上，还包括如下技术特征：

所述第二类型存储硬盘为HDD或HHD。

需要说明的是，第二类型存储硬盘对于数据读写速率要求不高，因此可以采用HHD、HDD或者其他类型硬盘。

本申请实施例提供的第七种数据存储系统，是在上述第六种数据存储系统的基础上，还包括如下技术特征：

所述动态存储硬盘为固态硬盘。

动态存储硬盘需要满足和第一类型存储硬盘一样的读写速率，而且仅仅作为临时存储之用，因此也可以采用SSD。

本申请实施例提供的第八种数据存储系统，是在上述第二种数据存储系统的基础上，还包括如下技术特征：

所述第三类型存储硬盘为HDD或HHD。

本申请实施例提供的第九种数据存储系统，是在上述第五种数据存储系统的基础上，还包括如下技术特征：

所述第一类型存储硬盘的数量为二个。

当然，还可以根据实际需要将这种第一类型存储硬盘的数量设置为三个或者更多，此处并不限制。

本申请实施例提供的第十种数据存储系统，是在上述第六种数据存储系统的基础上，还包括如下技术特征：

所述第二类型存储硬盘的数量为二个。

当然，还可以根据实际需要将这种第二类型存储硬盘的数量设置为三个或者更多，此处并不限制，对第三类型存储硬盘数量的设置也同理，此处不再赘述。

综上所述，上述方案对于海量数据进行分类存储，提高了数据存储的效率和数量，又可以降低数据丢失的概率，且具有动态存储硬盘，可以更加灵活的对数据进行存储，有效避免了数据的丢失，而且更加合理的利用了存储系统的存储空间，还设计了动态数据检索表功能，能够提高数据检索的效率。当需要检索指定数据时，可先在检索表中进行查询，再对各个类型的存储硬盘进行遍历，另外，对于不同类型的存储硬盘，采用不同的硬件，可以提高存储系统的利用效率，并且降低成本。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据存储系统，其特征在于，包括：

处理器，用于统计数据的频率并依据频率分配所述数据；

2.根据权利要求1所述的数据存储系统，其特征在于，还包括与所述处理器连接的至少一个第三类型存储硬盘，用于存储出现频率低于第二预设阈值的数据，且所述第二类型存储硬盘用于存储出现频率在所述第一预设阈值和所述第二预设阈值之间的数据。

3.根据权利要求1所述的数据存储系统，其特征在于，所述处理器还用于动态分析数据的频率并根据当前的频率调整所述数据的存储位置。

4.根据权利要求1所述的数据存储系统，其特征在于，所述第一类型存储硬盘、所述第二类型存储硬盘和所述动态存储硬盘中均设置有数据检索表，用于存储出现频率高于第三预设阈值的数据，用于优先检索高频数据。

5.根据权利要求1-4任一项所述的数据存储系统，其特征在于，所述第一类型存储硬盘为固态硬盘。

6.根据权利要求5所述的数据存储系统，其特征在于，所述第二类型存储硬盘为HDD或HHD。

7.根据权利要求6所述的数据存储系统，其特征在于，所述动态存储硬盘为固态硬盘。

8.根据权利要求2所述的数据存储系统，其特征在于，所述第三类型存储硬盘为HDD或HHD。

9.根据权利要求5所述的数据存储系统，其特征在于，所述第一类型存储硬盘的数量为二个。

10.根据权利要求6所述的数据存储系统，其特征在于，所述第二类型存储硬盘的数量为二个。