CN114691021A - 用于存储监测对象的指标值的方法、设备和计算机程序 - Google Patents

Abstract

提供了一种用于存储监测对象的指标值的方法、设备和计算机程序。在此描述的方法包括：接收在一个时间段内的多个时间点采集到的多组指标值，每组指标值包括对应于相应监测对象的第一数目的指标值；对于多组指标值的每一组，从第一数目的指标值中选择第二数目的指标值，以生成用于存储的经缩减的多组指标值；通过执行以下至少一次来更新第二数目，以用于后续指标值的缩减基于多组指标值中的至少一部分来生成监测对象的第一列表；基于经缩减的多组指标值中的至少一部分来生成监测对象的第二列表；以及根据第一列表和第二列表的比较来更新第二数目。该方法能够显著减少存储到数据库中的监测数据量，同时满足对排名靠前的监测对象的精确查询。

Description

用于存储监测对象的指标值的方法、设备和计算机程序

技术领域

本公开的实施例涉及计算机领域，更具体地，涉及一种用于存储监测对象的指标值的方法、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

对大规模存储系统进行监测的一个典型使用场景是按照某种指标或度量列出排名前列的若干个监测对象。例如，在一个监测场景中，需要列出延时最高的例如30个客户端，列出每秒磁盘访问次数最高的例如50个客户端，等等。由于客户端的各种指标值的分布情况是未知的，所以需要在监测数据库中存储所有客户端的所有数据才能准确给出相应的排名。这给数据库的容量带来了挑战。由于客户端的各种指标值的分布情况是未知的，所以需要在监测数据库中存储所有客户端的所有数据才能准确给出相应的准确排名。这给数据库的容量带来了挑战。

为了减少数据库中的数据量，一些现有方法采用了删除和下采样，例如，将存放时间超过一定时间(例如30天以上)的数据删除，或者将数据下采样为更低的分辨率(例如，从每分钟的数据转换为每小时的数据)。但是，由于集群系统的规模可能迅速增长，删除和下采样的方法可能无法满足用户需求。

发明内容

本公开的实施例提供了一种高效存储监测数据的方案，其能够在保障查询准确率的情况下显著减少存储监测数据所需的存储空间需求。

根据本公开的第一方面，提供了一种用于存储监测对象的指标值的方法，包括：接收在一个时间段内的多个时间点采集到的多组指标值，每组指标值包括对应于相应监测对象的第一数目的指标值。方法还包括，对于多组指标值的每一组，从第一数目的指标值中选择第二数目的指标值，第二数目小于第一数目，以生成用于存储的经缩减的多组指标值。方法还包括，通过执行以下至少一次来更新所述第二数目，以用于后续指标值的缩减：基于多组指标值中的至少一部分来生成监测对象的第一列表；基于经缩减的多组指标值中的至少一部分来生成监测对象的第二列表；以及根据第一列表和第二列表的比较来更新第二数目。

根据本公开的第二方面，提供了一种电子设备，包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，指令当由该至少一个处理单元执行时，使得该电子设备执行动作。动作包括：接收在一个时间段内的多个时间点采集到的多组指标值，每组指标值包括对应于相应监测对象的第一数目的指标值。动作还包括，对于多组指标值的每一组，从第一数目的指标值中选择第二数目的指标值，第二数目小于第一数目，以生成用于存储的经缩减的多组指标值。动作还包括，通过执行以下至少一次来更新所述第二数目，以用于后续指标值的缩减：基于多组指标值中的至少一部分来生成监测对象的第一列表；基于经缩减的多组指标值中的至少一部分来生成监测对象的第二列表；以及根据第一列表和第二列表的比较来更新第二数目。

根据本公开的第三方面，提供了一种非瞬态计算机存储介质，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如本公开的第一方面所述的方法。

根据本公开的第四方面，还提供了一种计算机程序产品，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如本公开的第一方面所述的方法。

以此方式，能够显著减少存储到数据库中的监测数据量，同时满足任意时间区间内对排名靠前的监测对象的精确查询。

应当理解，发明内容部分并非旨在标识本公开的实施例的关键或重要特征，亦非旨在用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过参照附图的以下详细描述，本公开的实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中，将以示例以及非限制性的方式对本公开的多个实施例进行说明，其中：

图1A示出了根据本公开的实施例的在一个时间段内采集的示例性指标值的原始数据。

图1B示出了根据本公开的实施例的基于原始数据得到的在一段时间区间内的示例性指标值的平均值。

图2示出了根据本公开的实施例的用于存储监测对象的指标值的方法。

图3示出了能够在其中实现根据本公开的实施例的用于存储监测对象的指标值的方法的示例性系统。

图4示出了根据本公开的实施例的动态校正筛选值的过程的示意图。校。

图5示出了针对不同时间区间的动态校正筛选值的过程500的示意图。。

图6示出了根据本公开的实施例的不同数据分布下的磁盘节省率和准确率的曲线图。

图7示出了可以用来实施本公开的实施例的设备的示意性框图。

具体实施方式

现在将参照附图中所示的各种示例性实施例对本公开的构思进行说明。应当理解，这些实施例的描述仅仅为了使得本领域的技术人员能够更好地理解并进一步实现本公开，而并不旨在以任何方式限制本公开的范围。应当注意的是，在可行情况下可以在图中使用类似或相同的附图标记，并且类似或相同的附图标记可以表示类似或相同的元素。本领域的技术人员将理解，从下面的描述中，本文中所说明的结构和/或方法的替代实施例可以被采用而不脱离所描述的本公开的原理和构思。

在本公开的语境中，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”；术语“基于”可以被理解为“至少部分地基于”；术语“一个实施例”可以被理解为“至少一个实施例”；术语“另一实施例”可以被理解为“至少一个其它实施例”。其他可能出现但在此处未提及的术语，除非明确说明，否则不应以与本公开的实施例所基于的构思相悖的方式做出解释或限定。

如上所述，对大规模存储系统进行监测的一个典型使用场景是按照某种指标或度量列出排名前列的若干个监测对象。例如，用户可能使用查询是“设置一个时间段，然后列出所有客户端中延迟值最大的30个客户端”。这样的时间段可以是自由选择的，例如“最近5分钟、“最近30分钟”、“最近一小时”等等。尽管用户只希望查看排名靠前的对象，但是却需要维持所有对象的数据才只能够支持这种查询。其原因在于，不同的时间段设置可能会导致针对排名靠前的对象的不同查询结果。

作为示例，参考图1A，其示出了在一个时间段内采集的示例性指标值的原始数据。如图1A所示，该数据具有矩阵的形式。其中每一行表示个体客户端(c-1，c-2…，c-E)，每一列表示在9点至10点的每分钟采集的延迟值。假设用户要查询不同时间段上延迟值排名前3的客户端，其中以延迟值的平均值进行排序。在设置好时间段之后，例如，用户设置了三个时间段，9:00-9:05、9:00-9:10、9:00-10:00，基于图1A所示的原始数据，计算每个客户端在这三个时间段上的延迟值的平均值，如图1B所示。

图1B示出了基于原始数据得到的在一段时间区间内的示例性指标值的平均值。图1B的左侧部分示出了时间区间9:00-9:05内的每个客户端的平均延迟值，其中，以阴影示出的客户端c-2、c-3和c-5是排名靠前的三个客户端。图1B的中间部分示出了时间区间9:00-9:10内的每个客户端的平均延迟值，其中，以阴影示出的客户端c-3、c-5和c-6是排名靠前的三个客户端。图1B的右侧部分示出了时间区间9:00-10:00内的每个客户端的平均延迟值，其中，以阴影示出的客户端c-1、c-5和c-7是排名靠前的三个客户端。由此看出，时间区间不同，排名靠前的三个客户端也不同。

本公开的实施例提出了一种可被称为动态筛选的方案，其能够显著减少存储数据库中的数据量，同时满足任意时间区间内对排名靠前的监测对象的精确查询。不同于现有的删除和下采样的方案在数据已经被存储到数据库之后减少数据量，本公开提出的方案在数据库写入之前对要存储到数据库中的数据进行筛选，以缩减写入数据库的数据量。

本文中，监测存储集群中的指标值不限于延迟值，例如，还可以包括每秒读写次数、平均响应时间、每秒事务数、流量等。另外，在本文中时间点不一定是在特定具体时间处采集到的瞬时指标值，还可以包括在一个时间范围内得到的指标值。

下面具体描述本公开的若干示例实现。为示例目的，在对实施例的描述中可能会涉及一些具体的环境、系统、配置、数值，等等。应当理解，这些仅仅是示例性的，本公开的范围不限于所描述的示例实现。

以下参照图2和图3来描述根据本公开的实施例的用于存储监测对象的指标值的方法。图2示出了根据本公开的实施例的用于存储监测对象的指标值的方法200。图3示出了能够在其中实现根据本公开的实施例的用于存储监测对象的指标值的方法的示例性系统。

如图2所示，在框210，接收在一个时间段内的多个时间点采集到的多组指标值。每组指标值包括对应于相应监测对象的第一数目的指标值。在一些实施例中，监测对象可以是连接到图3所示的存储集群310的多个客户端311。存储集群310可以是由经由网络互联的多个节点组成的并行或分布式存储集群。每个节点构成存储系统310的一个单元，每个节点可以支持数千个甚至更多的客户端311。客户端311可以经由网络将其数据备份到存储集群310。

当存储集群310具有第一数目的在线客户端时，可以实时地从这些客户端311采集到它们各自指标值，例如协议延迟值、每秒I/O次数、平均响应时间、每秒事务数、流量等，不限于此。在一些实施例中，可以由图3所示的实时数据采集器320从存储集群310接收在一个时间段内的多个时间点采集到的多组指标值。例如，实时数据采集器320可以根据设置，在一个时间段内定期(例如每分钟、每5分钟、每半小时等)在该时间段内的多个时间点从存储集群310接收关于客户端311的相应指标值。

在一些实施例中，实时数据采集器320可以在这些时间点向存储集群310发送针对相关联的指标值的请求并接收作为响应的多组指标值。备选地或附加地，存储集群310可以在这些时间点向实时数据采集器320推送这些指标值。

在一些实施例中，用于采集指标值的多个时间点可以均匀分布(例如但不限于每分钟、每5分钟、每半小时)在一个时间段内。沿时间均匀分布的指标值能够更准确地反映客户端311的工作状态，使用户获得有用的分析结果。

来自存储集群310的指标值可以被组织为一组有序指标值，其中每个指标值对应于单个客户端的指标值。仅作为示例，如果当前存储集群310有1000个客户端在线，则实时数据采集器320可以在多个时间点采集到维度为1000的多组指标值。从存储集群310接收到的指标值也被称为原始数据。实时数据采集器320接收的原始数据可以被传输到如图3所示的校正器330和数据筛选器340。在一些实施例中，多组指标值可以以矩阵的形式被保存和传输，其中行对应于客户端311，列对应于发生采集动作的特定时间点。

在框220，对于多组指标值的每一组，从第一数目的指标值中选择第二数目指标值，第二数目小于第一数目，以生成用于存储的经缩减的多组指标值。换言之，每组指标值中的指标值数目从第一数目被缩减到第二数目，使得存储它们所需的存储容量减少。

在一些实施例中，可以由图3所示的数据筛选器340来从第一数目的指标值中选择第二数目指标值。具体地，数据筛选器340可以被配置有筛选值，并且使用该筛选值来从第一数目的指标值中选择第二数目的指标值。根据本公开的实施例，筛选值是由校正器330动态配置的。校正器330可以定期或不定期地产生经校正的筛选值，并发送给数据筛选器340，用于数据筛选器340在下一时间段筛选接收到的指标值。

在一些实施例中，筛选值可以是整数并被直接用作第二数目，该情况下筛选值和第二数目可互换使用。备选地，筛选值可以是在0至1范围内的数，作为第二数目与第一数目之比，在这种情况下，数据筛选器340可以将筛选值和第一数目相乘，并且如需要，向上或向下取整以得到第二数目。需要注意的是，相比于原始数据，从矩阵角度来描述，缩减后的指标值的矩阵中的一些元素是空的，即更稀疏，从而节省了将指标值存储到监测数据库360所需的存储空间。

在一些实施例中，数据筛选器340可以对第一数目的指标值进行排序并且选择排序后的指标值中排名靠前的第二数目的指标值。在用户查询一个时间区间内排名靠前的若干个监测对象的场景下，通过这种方式，可以使得存储到监测数据库360中的经缩减的指标值更匹配这样的查询。在一些实施例中，指标值的排序可以是从大到小或者从小到大，这取决于指标值的类型。例如，对于延迟值，用户通常更关注延迟值较高的客户端311，以发现潜在或已经发生的故障。

仅作为示例，例如，在存储集群310有1000个客户端在线的情况下，一组指标值可以包括多达1000个延迟值，这时数据筛选器340可以对这1000个延迟值进行从大到小的排序，并且从经排序的延迟值中选择第二数目(例如100)的延迟值，用于存储到监测数据库360。参照图3，在所示的仅用于帮助理解的简化示例380中，数据筛选器340接收到关于客户端c-1至c-E的在时间点9:00的一组延迟值，然后对其排序，当第二数目为3时选择和保留延迟值最大的客户端c-1、c-5和c-E的数据。

如上所述，经过数据筛选器340产生了经缩减的多组指标值。参照图3，经缩减的多组指标值可以以更为稀疏的矩阵的形式被传输到数据库写入器350。数据库写入器350可以实时、定期或基于事件，将从数据筛选器340接收到的经缩减的多组指标值存储到监测数据库360，由此实现了减少存储到监测数据库360中的数据量。

在经缩减的多组指标值被存储到监测数据库360之后，用户可以访问监测数据库，查询在某个时间区间内感兴趣的监测对象。如图3所示，系统300还包括监测控件370，用户可以使用监测控件370访问监测数据库360，例如，查询在某个时间区间内排名靠前的N个监测对象。仅作为示例，N＝30，其通常远小于监测对象的总数(例如，相比于1000个在线的客户端)。监测数据库360中存储有经缩减的多组指标值，由此产生的查询结果可能不同于由原始数据产生的查询结果。在本文中考虑准确率来评估数据筛选器340。在一些实施例中，用户还可以借助监控控件370向校正器330传输其所感兴趣的监测对象的个数N，以用于校正筛选值，下文将描述。

根据本公开的实施例，当指标值的数据分布发生变化或者用户查询要求改变时，第二数目可能无法满足准确率要求，即基于缩减后的指标值产生的查询结果与基于原始数据产生的查询结果存在明显差别。在这种情况下，可以通过校正器330来动态更新第二数目，以便将查询结果的准确率控制在可接受范围内，如下文详细描述。

返回图2，框230被执行至少一次来更新第二数目，以用于后续指标值的缩减。具体地，在框231，基于多组指标值中的至少一部分来生成监测对象的第一列表。在框232，基于经缩减的多组指标值中的至少一部分来生成监测对象的第二列表。在框433，根据第一列表和第二列表的比较来更新第二数目。换言之，可以动态调整对原始数据进行缩减的程度，从而同时满足查询结果的准确率和减少存储量的要求。这里，第一列表是基于原始数据产生的，作为真实基准；第二列表是基于缩减后的数据产生的，将与第一列表进行比较。比较结果被可以用来更新第二数目。

以上参考框230所描述的动作可以由图3所示的校正器330来执行，以动态校正或更新筛选值。校正器330可以动态地更新筛选值并将经更新的筛选值传输到数据筛选器340，由此数据筛选器340可以得到第二数目，用于筛选在后续时间段内接收到的多组指标值。

图4示出了根据本公开的一些实施例的动态校正筛选值的示意图。参考图4所描述的过程可以视为框230的一个具体实现，并且可以由校正器330来执行。校正器330内可以包括缓存区(图中未示出)，用于存储从实时数据采集器320接收的一个时间段内的原始数据410。原始数据410可以以矩阵的形式存储在缓存区，其中矩阵的行表示监测对象，矩阵的列表示在该时间段内的采集数据的每个时间点。例如，仅作为示例，如果监测对象是1000个客户端，该时间段是1小时，并且每隔一分钟采集一次客户端的延迟值，则在缓存区内存储的原始数据的矩阵包括1000行和60列的延迟值。应理解，与存储缓存区中的原始数据有关的时间段的长度是可配置的，例如，半小时、10分钟、5分钟等；每个时间段内的时间点的数目或间隔也是可配置的，例如，每隔30秒、1分钟、5分钟、10分钟等，不限于上述示例。

在框420，校正器330可以基于原始数据，产生排名靠前的N个监测对象的列表。在一些实施例中，针对一个时间区间，使用该时间区间内的原始数据，即原始数据矩阵的相应列的指标值，来产生监测对象的第一列表。该监测对象的第一列表可以被视为真实基准(ground truth)。仅作为示例，针对缓存区中的整个时间段(例如，一小时)，使用原始数据来计算每个客户端的平均延迟值，并进行排序，从而得到在整个时间段内的排名靠前(例如，前30个)的客户端列表。备选地或附加地，可以针对缓存区中的一部分时间区间，使用原始数据中对应的一部分来产生该时间区间内的监测对象的第一列表。

在框430，校正器330可以设置初始筛选值K＝N。这里N可以是从例如图3所示的监控控件370接收的用户感兴趣的监测对象的数目。然后，在框440，使用筛选值来产生筛选后的数据。这里，与上述数据筛选器340类似，校正器330可以从原始数据的一组指标值中选择和保留排名靠前K个指标值，由此产生筛选后的数据。换句话说，对原始数据矩阵中的一列指标值进行排序，选择和保留排名靠前的K个指标值。

在框450，校正器330可以基于筛选后的数据，产生排名靠前的N个监测对象的第二列表。应理解，用于产生监测对象的第二列表的筛选后的数据应当对应于用于产生作为真实基准的监测对象的第一列表的原始数据。与框420类似，仅作为示例，可以针对缓存区中的整个时间段(例如，一小时)，使用筛选后的数据来计算每个客户端的平均延迟值，并进行排序，从而得到在整个时间段内的排名靠前(例如，前30个)的客户端列表。备选地或附加地，可以针对缓存区中的一部分时间区间，使用筛选后的数据中对应的一部分来产生该时间区间内的监测对象的列表。需要注意的是，相比于原始数据，从矩阵角度来描述，筛选后的数据中的一些元素是空的，即更为稀疏。这时，在产生监测对象的第二列表时应考虑非空元素。仅作为示例，某个客户端在原始数据中具有60个延迟值(例如，一小时内的每分钟)，但是筛选后，可能仅存在10个，在这种情况下，计算该客户端的平均延时值时，仅使用这10个延时值。

在框460，校正器330可以计算命中率360。根据本公开的实施例，命中率是指由筛选后的数据产生的监测对象列表相比于真实基准的准确率。因此，可以统计由筛选后的数据产生的监测对象命中真实基准的数目，并计算命中率。

在一些实施例中，校正器330可以确定第一列表和第二列表中的相同监测对象占第二列表中的监测对象的比例；以及基于比例来确定用于后续指标值的缩减的第二数目。换言之，当第二列表中的监测对象同样出现在第一列表中时，命中的监测对象是正确的，从而该比例可以用作从经缩减的指标值产生的列表的准确率。例如，仅作为示例，在用户感兴趣的查询是列出前30个客户端的情况下，如果筛选后的数据产生的监测对象列表的30个监测对象中有18个出现在对应的真实基准中，则命中率可以被计算为60％

在框470，校正器330可以判断命中率是否高于阈值。仅作为示例，该阈值可以为可接受的准确率，例如，85％、90％、95％等，不限于此。如果命中率超过阈值，表明当前的筛选值或对应的第二数目是可接受的，则在框490，将当前筛选值确定为后续使用的筛选值。例如，可以将满足该阈值的筛选值发送到数据筛选器340，由其在下一时间段筛选数据。

如果命中率低于阈值，前进到框480，更新筛选值，例如，可以使筛选值增加预设量(K＝K+ΔK)。通过尝试更大的筛选值，并且以迭代方式重复上述框440、450、460和470，可以提高命中率，直到命中率。根据本公开的实施例，可以用迭代方式来增加筛选值，直到命中率超过阈值。仅作为示例，预设量可以是任何整数，例如1、2、3等，不限于此。

换句话说，在如果第二列表中的监测对象命中第一列表的比例低于阈值，校正器330需要执行以下步骤至少一次，直到该比例超过该阈值：使筛选值或第二数目增加预设量来更新；使用经更新的筛选值或第二数目重新生成经缩减的多组指标值；基于重新生成的经缩减的多组指标值，重新确定该比例。

另外，在框490，校正器330可以将当前筛选值确定为后续使用的筛选值。例如，可以将满足该阈值的筛选值发送到数据筛选器340，由其在下一时间段筛选数据。

可以看出，通过以上参考图4描述的过程，可以持续尝试不同程度筛选后的数据来动态产生满足准确率要求的筛选值，从而保证从后续经缩减的指标值产生的监测对象的列表的准确率。

以上描述了校正器330针对单个时间区间来校正筛选值的过程，校正器330还可以针对多个不同的时间区间来校正筛选值。在一些实施例中，校正过程中所使用的原始数据中的列可以是可配置的，即，校正器330不必使用缓冲区中的所有数据来校正筛选值，可以仅使用一部分时间区间的原始数据。例如，仅作为示例，使用第1至5列(前5分钟)、第1-10列(前10分钟)、第56-60列(最后5分钟)、第51-60分钟(最后10分钟)的延迟值，不限于此。进一步地，校正器330还可以针对不同的时间区间来多次校正，得到多个经校正的筛选值，继而基于这多个经校正的筛选值来确定传输到数据筛选器340的用于后续筛选的筛选值。在一些实施例中，可以向数据筛选器340传输多个经校正的筛选值中的最大值。备选地，可以向数据筛选器340传输多个经校正的筛选值中的平均值。

在一些实施例中，可以针对校正器330的缓冲区的时间段内的不同时间区间，基于多组指标值中的对应部分和经缩减的多组指标值中的对应部分，分别更新第二数目，来以得到多个备选第二数目；并且使用多个备选第二数目的平均值或最大值来更新第二数目。由此，可以提供针对不同时间区间的第二数目的优化值。

以下参照图5详细描述这样的实施例。图5示出了针对不同时间区间的动态校正筛选值的方法500的示意图。方法500可以由校正器330来实施。由于用户查询的时间区间可以是任意的，例如，仅作为示例，较短的时间区间可能是5分钟或10分钟、较长的时间区间可能是1天、一周甚至更长。因此，需要兼顾不同的时间区间来校正筛选值。

方法500包括针对多个不同时间区间(时间区间1、2、…m)，分别确定多个校正的筛选值。在一些实施例中，时间区间1至m可以是不同长度的时间区间，例如，仅作为示例，时间区间1可以是5分钟长度，时间区间2可以是10分钟长度、时间区间3可以是30分钟等等。

在框510-1，对于时间区间1，校正器330可以使用其缓冲区中的时间区间1内的原始数据310(例如，对于1小时的缓存区来说，包括12个长度为5分钟的时间区间1)以及对应的筛选后的数据来校正筛选值，得到K1。这时，K1可以是针对12个时间区间的每个校正筛选值的平均值、最大值或其任意组合。类似地，在框510-2，对于时间区间2，校正器330可以使用其缓冲区中的时间区间2内的原始数据310(例如，对于1小时的缓存区来说，包括6个长度为10分钟的时间区间2)以及对应的筛选后的数据来校正筛选值，得到K2。这时，K2可以是针对6个时间区间的每个校正筛选值的平均值、最大值或其任意组合。依次类推，得到针对不同长度的时间区间的经校正的筛选值K，K1，K2……Km。

然后，在框520，将针对的不同长度的时间区间的筛选值(K1，K2……Km)的平均值或最大值确定为用于后续时间段的缩减的筛选值K，并将其发送到诸如图3所示的数据筛选器340。由此，可以提供针对任意不同时间区间的优化值。

由上可以看出，根据本公开的实施例的用于存储监测对象的指标值的方法能够显著减少存储到数据库中的数据量，同时满足任意时间区间内对排名靠前的监测对象的精确查询。

图6示出了根据本公开的实施例的不同数据分布下的磁盘节省率和准确率的曲线图。图6中横轴表示动态筛选值的范围，两侧的纵轴分别表示准确率和磁盘节省率，其中假设客户端的数目是1000。

图6示出了示出了三种不同类型的数据分布的试验结果，其中曲线610表示大标准差的正态分布，曲线620表示小标准差的正态分布，曲线630表示泊松分布(λ＝10)。可以看出，对于曲线610，当准确率要求是90％时，筛选值至少为84，即1000个指标值只需要存储84个指标值。对应的，磁盘节省率为91.6％。对于曲线620，当准确率要求是90％时，筛选值至少为306，即1000个指标值只需要存储306个指标值。对应的，磁盘节省率为69.4％。对于曲线630，当准确率要求是90％时，筛选值至少为450，即1000个指标值只需要存储450个指标值。对应的，磁盘节省率为55％。由此，本公开提供的技术尤其适用于数据分布偏差较大的指标值。由于本公开的实施例可以随着时间动态校正筛选值，所以当指标值的数据分布发生变化时能够及时调整筛选规模，从而获得磁盘节省率和数据准确率之间的最佳平衡。

图7示出了可以用来实施本公开的实施例的设备700的示意性框图。如图所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个方法或过程可由处理单元701执行。例如，在一些实施例中，方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM 703并由CPU 701执行时，可以执行上文描述的方法或过程中的一个或多个步骤或动作。

在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种用于存储监测对象的指标值的方法，包括：

接收在一个时间段内的多个时间点采集到的多组指标值，每组指标值包括对应于相应监测对象的第一数目的指标值；

对于所述多组指标值的每一组，从所述第一数目的指标值中选择第二数目的指标值，所述第二数目小于所述第一数目，以生成用于存储的经缩减的多组指标值；以及

通过执行以下至少一次来更新所述第二数目，以用于后续指标值的缩减

基于所述多组指标值中的至少一部分来生成监测对象的第一列表；

基于所述经缩减的多组指标值中的至少一部分来生成监测对象的第二列表；以及

根据所述第一列表和所述第二列表的比较来更新所述第二数目。

2.如权利要求1所述的方法，其中所述多个时间点均匀分布在所述时间段内。

3.如权利要求1所述的方法，其中从每组指标值的所述第一数目的指标值中选择第二数目的指标值包括：

对所述第一数目的指标值进行排序；以及

选择排序后的指标值中排名靠前的第二数目的指标值。

4.如权利要求1所述的方法，还包括：

确定所述第一列表和所述第二列表中的相同监测对象占所述第二列表中的监测对象的比例；以及

基于所述比例来确定用于后续指标值的缩减的所述第二数目。

5.如权利要求4所述的方法，还包括：

如果所述比例低于阈值，执行以下步骤至少一次，直到所述比例超过所述阈值：

使所述第二数目增加预设量来更新所述第二数目；

使用经更新的所述第二数目重新生成所述经缩减的多组指标值；以及

基于所述重新生成的经缩减的多组指标值，重新确定所述比例；以及

将满足所述比例超过所述阈值的所述经更新的第二数目确定为用于后续指标值的缩减的第二数目。

6.如权利要求1-5任一项所述的方法，还包括：

针对所述时间段内的不同时间区间，基于所述多组指标值中的对应部分和所述经缩减的多组指标值中的对应部分，分别更新所述第二数目，以得到多个备选第二数目；以及

使用所述多个备选第二数目的平均值或最大值来更新所述第二数目。

7.一种电子设备，包括：

至少一个处理单元；

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述电子设备执行动作，所述动作包括：

接收在一个时间段内的多个时间点采集到的多组指标值，每组指标值包括对应于相应监测对象的第一数目的指标值；

对于所述多组指标值的每一组，从所述第一数目的指标值中选择第二数目的指标值，所述第二数目小于所述第一数目，以生成用于存储的经缩减的多组指标值；

通过执行以下至少一次来更新所述第二数目，以用于后续指标值的缩减

基于所述多组指标值中的至少一部分来生成监测对象的第一列表；

基于所述经缩减的多组指标值中的至少一部分来生成监测对象的第二列表；

根据所述第一列表和所述第二列表的比较来更新所述第二数目和重新生成所述经缩减的多组指标值。

8.如权利要求7所述的电子设备，其中所述多个时间点均匀分布在所述时间段内。

9.如权利要求7所述的电子设备，其中从每组指标值的所述第一数目的指标值中选择第二数目的指标值包括：

对所述第一数目的指标值进行排序；以及

选择排序后的指标值中排名靠前的第二数目的指标值。

10.如权利要求7所述的电子设备，所述动作还包括：

确定所述第一列表和所述第二列表中的相同监测对象占所述第二列表中的监测对象的比例；以及

基于所述比例来更新所述第二数目。

11.如权利要求10所述的电子设备，所述动作还包括：

如果所述比例低于阈值，执行以下步骤至少一次，直到所述比例超过所述阈值：

使所述第二数目增加预设量；

使用增加的所述第二数目重新生成所述经缩减的多组指标值；以及

基于所述重新生成的经缩减的多组指标值，重新确定所述比例。

12.如权利要求6-11中任一项所述的电子设备，所述动作还包括：

针对所述时间段内的不同时间区间，基于所述多组指标值中的对应部分和所述经缩减的多组指标值中的对应部分，分别更新所述第二数目，以得到多个备选第二数目；以及

使用所述多个备选第二数目的平均值或最大值来更新所述第二数目。

13.一种非瞬态计算机存储介质，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如权利要求1至6中的任一项所述的方法。

14.一种计算机程序产品，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行如权利要求1至6中的任一项所述的方法。

Images