CN104731794A - 一种冷热数据分片挖掘存储方法 - Google Patents

Abstract

本发明公开了一种冷热数据分片挖掘存储方法。本方法为：1）从数据库中获取一组待分离的数据记录，并将其提交给冷热数据分离模块；2）对于每一数据记录，冷热数据分离模块计算单位时间段内该数据记录中每一字段的热度值P，如果该字段的热度值大于该字段对应的热度阈值，则将该字段放入设定的热数据区，否则将该字段放入设定的冷数据区；3）将热数据区和冷数据区的数据提交给数据分片模块，将热数据区和冷数据区的数据分别映射至对应的存储器。本发明将热数据保存在等级最高的存储资源上，以保证最高的性能、可用性和安全性；而对冷数据（不重要的数据）放在代价较小的存储资源上，减轻主存的容量压力，提升系统性能，节省数据存储成本。

Description

一种冷热数据分片挖掘存储方法

技术领域

本发明涉及一种冷热数据分片挖掘存储方法，尤其涉及一种基于Mongodb数据库的冷热数据分片挖掘存储方法，属于计算机安全存储领域。

背景技术

随着大数据的快速发展，大数据的应用已经深入到各个领域，大数据发展逐渐从物理转为虚拟，现正步入云时代，但是数据的价值并非全都一样，也不是一成不变的，因此，对冷热数据（不同级别的数据）的有效处理和存储愈发重要，同时也需要更好地对冷热数据存储有着更为智能的策略。

目前主流操作系统（如LINUX等），数据库系统（如REDIS，MONGODB等）都有对冷热数据进行分离的策略和算法，大多数都是基于LRU（近期最少使用算法）的经典算法，即节省利用容量有限的内存为最多的进程提供资源，但是当热数据变得很大时，继续使用该策略，就会消耗很大的系统资源，需要高昂成本，同时也影响系统性能，降低响应速度，比如MONGODB，由于应用数据量大，在启动时就占用了83G的内存，然后这其中的部分数据（部分字段数据）是可以分离出来的，它们相对而言属于偏冷的数据。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种更高效的冷热数据分片挖掘存储方法。本发明将由系统（如MONGODB）已经分离了的数据进行数据字段信息提纯和再分离，然后再分片，将热数据（价值最大的数据）保存在等级最高的存储资源上，以保证最高的性能、可用性和安全性。而对冷数据（不重要的数据），就放在代价较小的存储资源上，这样就可减轻主存的容量压力，提升系统性能，提高应用响应的速度，节省数据存储成本。

本发明改良了原先基于LRU算法的冷热数据分离方法，数据分离颗粒度更小，将需要分离的数据提交给数据分离模块，数据分离模块将数据冷热分离，然后将分离的冷热数据提交到数据分片模块，数据分片模块将数据映射到对应存储器，然后进行存储。

本发明的技术方案为：

一种更高效的冷热数据分片挖掘存储方法，其步骤为：

1）从数据库（比如MongoDb）中获取待分离的数据，并将其提交给数据分离模块；

2）冷热数据分离模块对提交过来的数据进行冷热数据分离：

21）首先设置每个数据字段各自的热度阀值；

22）计算每条数据字段的热度值；用内存数据库如memcached记录每个字段的访问量和访问开始时间S，每访问一次，访问量累加一，然后在时刻E提取各个字段单位时间内T（比如每15分钟）的访问量Q，则热度值P=Q*（E-S）/T；

23）将数据的热度和热度阀值进行比较；

24）将超过热度阀值的数据放入热数据区，其余数据放入冷数据区；

3）将多条记录分离后的热数据区和冷数据区的数据提交给数据分片模块，数据分片模块将冷热数据分别映射至对应的存储器：

31）分片模块通过HASH算法分别对每条记录的热数据和冷数据进行散列，使其映射到对应的存储器，比如可用的HASH算法有取模，位偏移，字符串哈希等等；

4）将冷热数据存储到分片处理后对应的存储系统。

与现有技术相比，本发明的积极效果为：

本发明创造性的提出了热度阀值和数据字段的概念，对数据用数据字段区分，减小了冷热数据区分的颗粒度，提纯了热数据，热度阀值的调整，可以方便调整热数据大小和存储器的容量匹配，最大限度的利用了当前可用资源。并通过分片加强分布式处理，提升了数据存储容量，方便后期的扩容和调整，既保证了数据的精确度，提高了系统的性能，又充分利用了存储资源，节省了成本，整体方案的性能较现有的方案相比有较大的性能提升。

附图说明

图1为本发明的系统结构图。

图2为本发明的冷热数据分片挖掘存储流程图。

具体实施方式

1.从数据库Mongodb中提取序号为A_i，B_i的两条数据记录A，B，分别包含字段name，address。

2.冷热数据分离模块设置A，B数据各个字段的热度阀值name_a，address_a，name_b，address_b。

用内存数据库（memcached）记录每个字段的开始访问时间S_aname，S_aaddress，S_bname，S_baddress，和访问量Q_aname，Q_aaddress，Q_bname，Q_baddress，在时刻E取单位时间T（1800秒）根据公式P=Q*（E-S）/T计算每个字段的热度值P_aname，P_aaddress，P_bname，P_baddress。

3.比较每个字段的热度值P_aname，P_aaddress，P_bname，P_baddress和对应的热度阀值name_a，address_a，name_b，address_b的大小，将小于热度阀值的数据A_i中的name和B_i中的address放入冷数据区，将大于热度阀值的数据A_i中的address和B_i中的name放入热数据区。

4.通过哈希算法分别对每条记录的热数据和冷数据进行散列，使其映射到对应的N台存储服务器，根据每条数据记录序号A_i，B_i和字段对应的数据值V_aname，V_aaddress，V_bname，V_baddress，通过SHA-1分别处理热数据和冷数据计算散列值，然后取模散列至对应的存储服务器I，I=SHA1（A_i+V_aname）%N。

Claims (7)

1.一种冷热数据分片挖掘存储方法，其步骤为：

1）从数据库中获取一组待分离的数据记录，并将其提交给冷热数据分离模块；

2）对于每一数据记录，冷热数据分离模块计算单位时间段内该数据记录中每一字段的热度值P，如果该字段的热度值大于该字段对应的热度阈值，则将该字段放入设定的热数据区，否则将该字段放入设定的冷数据区；

3）将热数据区和冷数据区的数据提交给数据分片模块，数据分片模块将热数据区和冷数据区的数据分别映射至对应的存储器。

2.如权利要求1所述的方法，其特征在于所述冷热数据分离模块根据字段的访问量，计算每一字段的热度阀值P。

3.如权利要求2所述的方法，其特征在于所述冷热数据分离模块初始化一条链表Li用于记录同一数据记录中各个字段的访问量，每出现一次，对应的访问量加一。

4.如权利要求2或3所述的方法，其特征在于所述冷热数据分离模块通过公式P=Q*（E-S）/T计算每一字段的热度值P；其中，S为该字段的访问开始时间，E为该字段的访问结束时间，Q为该字段从时刻S到时刻E的访问量，T为设定的单位时间长度。

5.如权利要求1或2或3所述的方法，其特征在于所述数据分片模块通过HASH算法分别对每条数据记录的热数据和冷数据进行散列，使其映射到对应的存储器。

6.如权利要求5所述的方法，其特征在于所述HASH算法为取模HASH算法，或位偏移HASH算法，或字符串HASH算法。

7.如权利要求1所述的方法，其特征在于所述冷热数据分离模块根据系统性能和资源利用情况调整对字段的热度阀值进行调整。