CN114237501B - 一种快速识别冷数据的方法及计算机可读存储介质 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种快速识别冷数据的方法及计算机可读存储介质，包括以下步骤：初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。本发明实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。

Description

一种快速识别冷数据的方法及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种快速识别冷数据的方法及计算机可读存储介质。

背景技术

计算机系统在运行中对数据库数据的读写访问毫无疑问会占用大量的内存空间。当内存不足或访问空间被锁死时，常会出现内存溢出、访问超时甚至系统崩溃等情况，严重影响系统数据库访问的运行效率和性能。

这就需要内存一方面能够持续不断地加载数据，另一方面还要能够快速有效地清理掉不常用的冷数据，以腾出有限内存空间，并且进行此操作时还要保障数据库的正常访问和系统的正常运行。

一般处理方法是，当内存数据容量达到一定大小时，系统会暂时锁死内存访问，然后通过不断遍历内存来逐步查找和清理掉不常用的冷数据，清理耗时长，占用系统资源多，容易影响系统数据的正常访问。

传统通过遍历整个内存数据块，依次找出不常用的冷数据块，再按先后顺序进行清理数据的做法，会造成遍历期间将锁住整个内存块，并且由于内存数据较多，遍历时间过长，从而导致内存无法访问或等待时间过久，无法获取到资源，严重影响到数据的正常调用和业务运行。

发明内容

针对现有技术的不足，本发明公开了一种快速识别冷数据的方法及计算机可读存储介质，用于实现系统在读写内存数据时能够快速在内存中找到不常用的冷数据，并能够快速将其清理掉，而且数据清理时能做到对用户无感知、对数据访问无影响，以达到极大提升内存访问速度和使用效率，提升数据库性能和用户体验。

本发明通过以下技术方案予以实现：

第一方面，本发明提供了一种快速识别冷数据的方法，包括以下步骤：

S1初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；

S2加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；

S3访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；

S4在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。

更进一步的，所述方法中，数据堆由海量的数据块组成，用于存放内存数据。

更进一步的，所述方法中，当初始数据堆容量达到阈值大小后，其中被访问到的数据块将开始搬移到下一个数据堆，而留下的是未被访问的数据块。

更进一步的，所述方法中，搬移规则是：每间隔一个时间周期，当前数据堆中的数据块将搬移到下一个数据堆中；

只搬移被访问到的数据块，留下未被访问的数据块。

更进一步的，所述方法中，当前数据堆中的数据块均为搬移过来的最新数据，被再次访问的概率最大，则这种头部数据为热数据；

数据堆中留下来的数据，由于其未被访问为冷数据。

更进一步的，所述方法中，清理内存的规则是，依时间先后顺序，从最久的冷数据块开始清理。

更进一步的，所述方法中，初始数据堆中的冷数据最早，优先从清理初始数据堆开始。

更进一步的，所述方法中，当在初始数据堆中清理掉特定数量的冷数据块后，将基于搬移规则把当前数据堆中被访问到的数据移向初始数据堆，使得初始数据堆从尾部又变成了头部最热数据堆，重新开始新一轮循环。

更进一步的，所述方法中，访问内存时，首先访问当前数据堆中的数据块，若访问不到，则到上前一位数据堆中查找，再访问不到，再到前前位数据堆中查找，依次类推，直到找到数据。

第二方面，本发明提供了一种计算机可读存储介质，包括处理器以及存储有执行指令的寄存器，当所述处理器执行所述寄存器存储的所述执行指令时，所述处理器硬件执行第一方面所述的快速识别冷数据的方法。

本发明的有益效果为：

本发明实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。

本发明在设备监测实际应用中，可以实现大规模设备的秒级快速轮询，并且数据展示不会间断。多台服务器形成监控集群，可以监控数万台设备，并能保证性能。具有很强的市场前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种快速识别冷数据的方法步骤图；

图2是一种快速识别冷数据的方法流程原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参照图1所示，本实施例提供了一种快速识别冷数据的方法，包括以下步骤：

S1初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；

S2加载数据，根据内存空间大小，将整个空间配置为n个数据堆，对内存数据的读写将依次在这n个数据堆里进行，n为正整数；

S3访问内存时，首先访问当前数据堆中的数据块，若访问不到，则由前一位数据堆中查找，直到找到数据；

S4在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆。

本实施例针对运维监测中内存数据不断增加，需要不断清理的实际情况，本实施例通过改进内存数据清理方法以实现内存数据的快速定位、快速清理、快速调用和最大化利用。

本实施例为了实现系统在读写内存数据时能够快速在内存中找到不常用的冷数据，并能够快速将其清理掉，而且数据清理时能做到对用户无感知、对数据访问无影响，以达到极大提升内存访问速度和使用效率，极大提升数据库性能和用户体验的目的。

本实施例实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。

实施例2

在具体实施层面，本实施例提供一种快速识别冷数据方法的具体应用，具体如下：系统启动后加载数据到内存，并将其分配到一定的区域，形成初始数据堆。数据堆由海量的数据块组成，用于存放内存数据。

随着数据的不断加载，系统根据内存空间大小，将整个空间配置为n个数据堆，此后内存数据的读写将依次在这n个数据堆里进行，其中n为正整数。

本实施例中，当初始数据堆容量达到一定大小后，其中被访问到的数据块将开始搬移到下一个数据堆，而留下的是未被访问的数据块。

本实施例在进一步的实施时，提供一种具体搬移规则是：

(1)每间隔一个时间周期，当前数据堆中的数据块将搬移到下一个数据堆中。

(2)只搬移被访问到的数据块，留下未被访问的数据块。

本实施例中，系统访问内存时，会首先访问当前数据堆中的数据块，若访问不到，则到上一个数据堆中查找，再访问不到，再到上上个数据堆中查找，依次类推，直到找到数据。

本实施例由访问顺序和搬移规则可知，当前数据堆中的数据块均为搬移过来的最新数据，被再次访问的概率最大，我们把这种头部数据称为热数据。

本实施例数据堆中留下来的数据，由于其未被访问，我们称之为冷数据。其时间越久，被再次访问到的概率也会越小，数据也最冷。在流程图2中，红色越深，表示数据越热；蓝色越浅，表示数据越冷。

本实施例中，当系统线程检测到整个内存容量超过一定阈值时，则开始清理内存数据。反之，则继续读写当前数据堆。

本实施例清理内存的规则是，依时间先后顺序，从最久的冷数据块开始清理。由于初始数据堆中的冷数据最早，所以先从清理初始数据堆开始。

作为本实施例的一种对比，本实施例方法的好处是：

由于在数据堆中留下的均是冷数据，时间越久，数据越冷，访问概率就越小，系统在清理时无需再进行判断，省去了遍历时间。

清理时无需锁住大量的内存块，只需锁住其中一小部分，也就是只需锁住要清理的冷数据块，由于其占比比较小，不会影响其它内存块的访问。

由于系统线程通过有规律的周期清理，并且被清理数据块的大小都限制在一定范围内，所以清理速度特别快。比如每隔15秒，计算一次内存总容量，超过则立即清理掉300M内存冷数据。

此方法的使用极大提升了内存数据查找和清理的速度，提高了内存的使用效率，且不会影响数据的使用和访问，也由此极大提升了数据库访问的性能。

而传统方法则需要锁住整个内存进行遍历冷数据，由于数据块较多，花费时间长，常常需要几分钟甚至几十分钟，而且由于锁住会导致整个内存都无法访问，严重影响数据的读写和资源的调取。

本实施例中，当系统在初始数据堆中清理掉一定数量的冷数据块后，系统将基于搬移规则把当前数据堆中被访问到的数据移向初始数据堆，这样初始数据堆从尾部又变成了头部最热数据堆，重新开始新一轮循环。比如流程图2中从数据堆四移到初始数据堆。这样就能保证系统最先访问到的一直是最热数据，最先清理掉的一直是最冷数据。

本实施例划分数据堆的个数要结合内存空间大小进行划分，不宜过多。

本实施例数据搬移间隔时间要结合数据堆数量、内存大小进行最优设置。

本实施例数据清理频率和清理大小的设置要保证最大化内存数据的驻留。

最后需要说明的是，本实施例由于最冷数据块被清理后仍有一定的概率被访问到，此时需要通过读写磁盘来访问到，会占用一定的磁盘访问时间。但由于其数据量和访问概率都较小，其读写成本可以忽略不计。

实施例3

本实施例提供一种计算机可读存储介质，包括处理器以及存储有执行指令的寄存器，当所述处理器执行所述寄存器存储的所述执行指令时，所述处理器硬件执行快速识别冷数据的方法。

综上，本发明实现了内存冷数据的快速定位、快速清理，从而极大提升了内存读写的效率和利用率，进而极大提升了数据库访问的性能。

本发明在设备监测实际应用中，可以实现大规模设备的秒级快速轮询，并且数据展示不会间断。多台服务器形成监控集群，可以监控数万台设备，并能保证性能。具有很强的市场前景。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种快速识别冷数据的方法，其特征在于，所述方法包括以下步骤：

S1 初始化，加载数据到内存，并将其分配到特定区域，形成初始数据堆；

S2 加载数据，根据内存空间大小，将整个空间配置为 n 个数据堆， 对内存数据的读写将依次在这 n 个数据堆里进行，n 为正整数；

S3 访问内存时，首先访问当前数据堆中的数据块，若访问不到， 则由前一位数据堆中查找，直到找到数据；

S4 在内存容量超过阈值时，清理内存数据，并在清理掉特定数量冷数据块后，将当前数据堆中被访问到的数据移向初始数据堆；

所述方法中，当初始数据堆容量达到阈值大小后，其中被访问到的数据块将开始搬移到下一个数据堆，而留下的是未被访问的数据块；

所述方法中，搬移规则是：每间隔一个时间周期，当前数据堆中的数据块将搬移到下一个数据堆中；

只搬移被访问到的数据块，留下未被访问的数据块；

所述方法中，当在初始数据堆中清理掉特定数量的冷数据块后， 将基于搬移规则把当前数据堆中被访问到的数据移向初始数据堆，使得初始数据堆从尾部又变成了头部最热数据堆，重新开始新一轮循环。

2.根据权利要求 1 所述的一种快速识别冷数据的方法，其特征在于，所述方法中，数据堆由海量的数据块组成，用于存放内存数据。

3.根据权利要求 1 所述的一种快速识别冷数据的方法，其特征在于，所述方法中，当前数据堆中的数据块均为搬移过来的最新数据， 被再次访问的概率最大，则这种头部数据为热数据；数据堆中留下来的数据，由于其未被访问为冷数据。

4.根据权利要求 1 所述的一种快速识别冷数据的方法，其特征在于，所述方法中，清理内存的规则是，依时间先后顺序，从最久的冷数据块开始清理。

5.根据权利要求 1 所述的一种快速识别冷数据的方法，其特征在于，所述方法中，初始数据堆中的冷数据最早，优先从清理初始数据堆开始。

6.根据权利要求 1 所述的一种快速识别冷数据的方法，其特征在于，所述方法中，访问内存时，首先访问当前数据堆中的数据块，若访问不到，则到上前一位数据堆中查找，再访问不到，再到前前位数据堆中查找，依次类推，直到找到数据。

7.一种计算机可读存储介质，包括处理器以及存储有执行指令的寄存器，当所述处理器执行所述寄存器存储的所述执行指令时，所述处理器执行如权利要求 1-6 中任一所述的快速识别冷数据的方法。