CN111881346A

CN111881346A - 一种热点数据的识别方法、系统及相关装置

Info

Publication number: CN111881346A
Application number: CN202010681095.3A
Authority: CN
Inventors: 孙莹
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2020-11-03
Anticipated expiration: 2040-07-15
Also published as: CN111881346B

Abstract

本申请提供一种热点数据的识别方法，包括：获取目标数据；利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；判断所述热点值是否大于预设值；若是，确定所述目标数据为热点数据。本申请提高了热点数据的判断精度，从而降低服务器中的存储介质成本和热点数据的访问时延，便于对热点数据作优化处理，提高热点数据的访问效率。本申请还提供一种热点数据的识别系统、计算机可读存储介质和服务器，具有上述有益效果。

Description

一种热点数据的识别方法、系统及相关装置

技术领域

本申请涉及数据处理领域，特别涉及一种热点数据的识别方法、系统及相关装置。

背景技术

在当前数据下，大容量存储的应用越来越广泛，如各电商平台、数据分析网站等，大容量的存储介质应运而生。不同存储介质的价格和传输速率均有所差异，若能有效的将热点数据识别出来，并实时迁移至性能更好的存储介质中，不仅能降低成本，对存储中数据访问时延的降低有极大的意义。然而热点数据的相关判定因素众多，仅根据访问频率作为热点数据判断所得到的热点数据过多，且其中也包含实际非热点数据，因此，如何有效对热点数据进行识别是本领域技术人员亟需解决的技术问题。

发明内容

本申请的目的是提供一种热点数据的识别方法、系统、计算机可读存储介质和服务器，能够有效识别热点数据。

为解决上述技术问题，本申请提供一种热点数据的识别方法，具体技术方案如下：

获取目标数据；

利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；

根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；

利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；

判断所述热点值是否大于预设值；

若是，确定所述目标数据为热点数据。

可选的，利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值包括：

利用1×3的滤波矩阵对所述目标数据所在数据块和前后两个相邻数据块执行卷积计算，得到空间关联评估值。

可选的，根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值包括：

获取所述目标数据的最后被访问时间和月度被访问次数；

根据阈值表确定所述目标数据的第一阈值系数；

根据所述月度被访问次数确定所述目标数据的月度被访问频率；

根据所述第一阈值系数和所述月度被访问频率确定时间关联评估值。

可选的，所述参数公式为

P＝A*max(P_s,P_t)+B*min(P_s,P_t)；

其中，P为热点值，P_s为空间关联评估值，P_t为时间关联评估值，A、B均为系数，且A+B＝1，A大于B。

可选的，根据所述第一阈值系数和所述月度被访问频率确定时间关联评估值包括：

根据所述第一阈值系数和所述月度被访问频率之积确定时间关联评估值。

本申请还提供一种热点数据的识别系统，包括：

获取模块，用于获取目标数据；

空间评估模块，用于利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；

时间评估模块，用于根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；

热点计算模块，用于利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；

判断模块，用于判断所述热点值是否大于预设值；

数据确认模块，用于所述判断模块判断为是时，确定所述目标数据为热点数据。

可选的，所述空间评估模块为用于利用1×3的滤波矩阵对所述目标数据所在数据块和前后两个相邻数据块执行卷积计算，得到空间关联评估值的模块。

可选的，所述时间评估模块包括：

获取单元，用于获取所述目标数据的最后被访问时间和月度被访问次数；

系数确认单元，用于根据阈值表确定所述目标数据的第一阈值系数；

频率确认单元，用于根据所述月度被访问次数确定所述目标数据的月度被访问频率；

时间评估单元，用于根据所述第一阈值系数和所述月度被访问频率确定时间关联评估值。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种服务器，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种热点数据的识别方法，包括：获取目标数据；利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；判断所述热点值是否大于预设值；若是，确定所述目标数据为热点数据。

本申请分别技术目标数据的空间关联性确认其空间关联评估值、其被访问频率和最后被访问时间确定目标数据的时间关联评估值，从数据的访问角度和数据所在位置两个维度确认热点数据，避免了从单一维度确认目标数据是否为热点数据时造成的热点数据判断误差，提高了热点数据的判断精度，从而降低服务器中的存储介质成本和热点数据的访问时延，便于对热点数据作优化处理，提高热点数据的访问效率。本申请还提供一种热点数据的识别系统、计算机可读存储介质和服务器，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种热点数据的识别方法的流程图；

图2为本申请实施例所提供的一种热点数据的识别系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种热点数据的识别方法的流程图，该方法包括：

S101：获取目标数据；

S102：利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；

本步骤旨在利用滤波矩阵确定目标数据位置上的评估值。容易理解的是，对于热点数据，其由于高被访问量，其所在数据块周围的数据块被访问的频率会随着离热点数据越远而越低。简言之，热点数据通常并非独立数据，在存储介质中通常以点状聚集或者块状聚集。因此针对目标数据作空间判断可以对于目标数据作空间维度的判断。

具体的，本步骤旨在利用滤波数据对目标数据所在数据块和周围的数据块做卷积操作。这次对于采用何种滤波矩阵并不做具体限定，采用的滤波矩阵大小应视目标数据所在数据块的相邻数据块的数量决定。即若目标数据所在数据块周围包含多个数据块，则滤波矩阵大小可以相应提高。

作为本步骤的一种优选的实施例，若仅对数块周围相邻两个数据块做卷积操作，可以利用1×3的滤波矩阵对目标数据所在数据块和前后两个相邻数据块执行卷积计算，得到空间关联评估值。例如，该滤波矩阵可以为A＝[0.30.40.3]，与评估数据块及其邻块的空间关联评估矩阵[(P_s-1,P_s,P_s+1)]做卷积操作，所得卷积值即为目标数据所在数据块的空间关联评估值P_{s_new}。其中，若数据块被访问，则其对应的P_s置为1，算法可以如下式所示；

P_{s_new}＝[(0.3,0.4,0.3)]⊕[(P_s-1,P_s,P_s+1)]＝0.3*P_s-1+0.4*P_s+0.3*P_s+1

当然，容易理解的是，上文所公开的滤波矩阵和空间关联评估矩阵仅为本步骤中的一种优选的执行方式，具体的滤波矩阵形式，以及滤波矩阵中的参数值，均可以由本领域技术人员作相应的设定，在此不一一举例限定。

S103：根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；

本步骤旨在确定时间关联评估值。旨在从两个维度进行判断，一是目标数据的被访问频率，而是目标数据的最后被访问时间。容易理解的是，数据的被访问频率意味着其被读写的频率，很显然，被读写的频率越高，则目标数据为热点数据的可能性越高。但需要注意的是，还需要考虑最后被访问时间，由于热点数据都具备时效性，即某一数据在特定时间内为热点数据，但在特定时间后，其不再为热点数据。因此，本步骤还需要考虑目标数据的最后被访问时间。

具体的，在确定时间关联评估值时，针对被访问频率可以得到频率值。而针对最后被访问时间，可以通过阈值表确定。

作为本步骤的一种优选执行方式，本步骤可以采用如下步骤执行：

S1031：获取所述目标数据的最后被访问时间和月度被访问次数；

S1032：根据阈值表确定所述目标数据的第一阈值系数；

S1033：根据所述月度被访问次数确定所述目标数据的月度被访问频率；

S1034：根据所述第一阈值系数和所述月度被访问频率确定时间关联评估值。

步骤S1032中，针对不同的最后被访问时间设定不同的阈值系数。当然，在此对于具体的阈值系数设定方式和系数值不作具体限定。可以以天数、周数或者小时数为单位设定阈值系数。

参见表1，表1为本实施例公开的一种最近被访问时间与阈值系数对应表，表中表明每个时间段对应的阈值系数，当然本领域技术人还可以在表1的基础上设定其他的阈值表，均应在本申请的保护范围内。

表1最近被访问时间与阈值系数对应表

最近被访问时间	一天内	一周内	一月内	一季度内	一年内	其他
							阈值系数σ	1	0.8	0.6	0.4	0.2	0

步骤S1033中，根据月度被访问次数确定目标数据的月度被访问频率，当然在步骤S103其他实施方式中，还可以采用其他单位时间作为被访问频率加以计算时间关联评估值。

需要注意的是，在得到被访问频率和阈值系数后，可以针对访问频率和阈值系数作数学计算，包括限定于二者的乘积、平均值或者其他方式的加权计算等。例如，在上文步骤S1034中，可以根据第一阈值系数和月度被访问频率之积确定时间关联评估值。

S104：利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；

本步骤旨在利用参数公式计算得到热点值。容易理解的是，本申请旨在从空间和时间两个维度确定热点数据，因此需要针对空间关联评估值和时间关联评估值作参数计算。需要注意的是，在此对于空间关联评估值和时间关联评估值配置的权重值关系不作具体限定，但容易理解的，热点值应向评估值更高的一方倾斜。

作为本实施例的一种优选的执行方式，所述参数公式可以为：

P＝A*max(P_s,P_t)+B*min(P_s,P_t)；

S105：判断所述热点值是否大于预设值；若是，进入S106；

在得到热点值后，将热点指与预设值进行比较，以评判热点指是否为热点数据。

容易理解的是，本实施例默认在本步骤执行前配置预设值，在此对于预设值的具体大小不作限定，可以由本领域技术人员作相应配置。

S106：确定所述目标数据为热点数据。

本实施例分别技术目标数据的空间关联性确认其空间关联评估值、其被访问频率和最后被访问时间确定目标数据的时间关联评估值，从数据的访问角度和数据所在位置两个维度确认热点数据，避免了从单一维度确认目标数据是否为热点数据时造成的热点数据判断误差，提高了热点数据的判断精度，从而降低服务器中的存储介质成本和热点数据的访问时延，便于对热点数据作优化处理，提高热点数据的访问效率。

下面对本申请实施例提供的一种热点数据的识别系统进行介绍，下文描述的识别系统与上文描述的一种热点数据的识别方法可相互对应参照。

参见图2，本申请还提供一种热点数据的识别系统，包括：

获取模块100，用于获取目标数据；

空间评估模块200，用于利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值；

时间评估模块300，用于根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值；

热点计算模块400，用于利用参数公式对所述空间关联评估值和所述时间关联评估值计算得到热点值；

判断模块500，用于判断所述热点值是否大于预设值；

数据确认模块600，用于所述判断模块判断为是时，确定所述目标数据为热点数据。

基于上述实施例，作为优选的实施例，所述空间评估模块200为用于利用1×3的滤波矩阵对所述目标数据所在数据块和前后两个相邻数据块执行卷积计算，得到空间关联评估值的模块。

基于上述实施例，作为优选的实施例，所述时间评估模块300包括：

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种服务器，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述服务器还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种热点数据的识别方法，其特征在于，包括：

获取目标数据；

判断所述热点值是否大于预设值；

若是，确定所述目标数据为热点数据。

2.根据权利要求1所述的识别方法，其特征在于，利用滤波矩阵对所述目标数据所在数据块和相邻数据块执行卷积计算，得到空间关联评估值包括：

3.根据权利要求1所述的识别方法，其特征在于，根据所述目标数据的被访问频率和最后被访问时间确定时间关联评估值包括：

获取所述目标数据的最后被访问时间和月度被访问次数；

根据阈值表确定所述目标数据的第一阈值系数；

4.根据权利要求1所述的识别方法，其特征在于，所述参数公式为

P＝A*max(P_s,P_t)+B*min(P_s,P_t)；

5.根据权利要求3所述的识别方法，其特征在于，根据所述第一阈值系数和所述月度被访问频率确定时间关联评估值包括：

6.一种热点数据的识别系统，其特征在于，包括：

获取模块，用于获取目标数据；

判断模块，用于判断所述热点值是否大于预设值；

7.根据权利要求6所述的识别系统，其特征在于，所述空间评估模块为用于利用1×3的滤波矩阵对所述目标数据所在数据块和前后两个相邻数据块执行卷积计算，得到空间关联评估值的模块。

8.根据权利要求6所述的识别系统，其特征在于，所述时间评估模块包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法的步骤。

10.一种服务器，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-6任一项所述的方法的步骤。