CN107515807A - 一种存储监控数据的方法及装置 - Google Patents

一种存储监控数据的方法及装置 Download PDF

Info

Publication number
CN107515807A
CN107515807A CN201610437565.5A CN201610437565A CN107515807A CN 107515807 A CN107515807 A CN 107515807A CN 201610437565 A CN201610437565 A CN 201610437565A CN 107515807 A CN107515807 A CN 107515807A
Authority
CN
China
Prior art keywords
monitoring data
record
key assignments
index
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610437565.5A
Other languages
English (en)
Other versions
CN107515807B (zh
Inventor
周赵锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610437565.5A priority Critical patent/CN107515807B/zh
Publication of CN107515807A publication Critical patent/CN107515807A/zh
Application granted granted Critical
Publication of CN107515807B publication Critical patent/CN107515807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种存储监控数据的方法及装置。所述存储监控数据的方法包括以下步骤：获取监控数据；将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录；存储所述关联指标监控数据记录。达到节约大量的存储空间的效果，更能够使得一次写入或读出同一被监控对象的多个监控指标，起到提高存储和访问监控数据的效率的作用。

Description

一种存储监控数据的方法及装置
技术领域
本申请涉及一种存储数据的方法，具体涉及一种存储监控数据的方法及装置。
背景技术
通常情况下，大型的IT系统不仅仅提供对系统硬件资源的分配使用情况的信息，同时也要提供对应用层面的业务数据的使用情况的信息，也即要对业务数据使用情况进行监控并提供监控数据，监控数据包括对被监控对象进行操作处理的一些行为的统计和分析指标。
这些监控指标的数量会随着被监控系统的增大，被监控系统所提供的业务量的增大，访问业务数据的行为的数量的增加以及用户数量的增加而变得越来越多。
现有的监控数据存储方法通常将监控指标单独进行存储，例如，对于用户ID为“19872”的这个用户在实例名为“instance1”的这个实例上的2016/2/2917:57:10这个时间点的访问量和平均延迟这两个监控指标的监控数据：
用户ID(主键) 指标名(主键) 指标名称(主键) 时间戳(主键) 指标值
19872 instance1 访问量 2016/2/29 17:57:10 100
19872 instance1 平均延迟 2016/2/29 17:57:10 10
系统将其以下述形式进行存储：
Key Value
19872,instance1,访问量,2016/2/29 17:57:10 100
19872,instance1,平均延迟,2016/2/29 17:57:10 10
当上述监控数据需要被查看时，查询系统每次只能根据键值(Key)查到一个监控指标的信息并将其提供给调用查看监控数据的应用。而在实际使用监控数据时，无论是系统维护人员还是用户，通常情况下都希望能够一次性地查看到同一被监控对象的所有监控指标，这就需要查询系统多次(例如，对于上述监控数据需要2次)查询所存储的监控数据并将其提供给相应的应用进以便查看监控数据的人员查看。相应地，在对上述监控数据进行存储时，系统也必须分别针对不同的监控指标进行一次写入存储的操作。
可见，现有的存储方式对于同一被监控对象的指标较多的情况，会导致系统对监控数据的存储和访问的效率低下的问题，并且加重系统的负担。另外，对于同一被监控对象的不同监控指标，其键值中包含很多重复的内容，甚至远远超过了监控指标值所需的存储容量，导致大量的存储空间被浪费的问题。
发明内容
本申请提供一种存储监控数据的方法。本申请同时提供一种存储监控数据的装置。
本申请提供的一种存储监控数据的方法，包括以下步骤：
获取监控数据；
将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录；
存储所述关联指标监控数据记录。
优选地，所述将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录包括：
将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的监控指标组合成为关联指标，并命名所述关联指标；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值；
利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值；
将所述关联指标监控数据记录索引键值，维度键值，记录名称键值和时间戳键值作为主键，所述关联指标作为记录值形成关联指标监控数据记录。
优选地，所述关联指标为结构化数据，包括所述被监控对象的标识相同且监控指标的时间标识相同的所有监控指标的名称和值。
优选地，所述命名所述关联指标包括：采用单字节字符作为所述关联指标的名称。
优选地，所述记录名称键值包括字符串。
优选地，所述记录名称键值包括所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识。
优选地，所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识包括以下至少一项：用户标识、实例标识，表标识，操作标识。
优选地，所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值包括：
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识所包含的所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识组成所述关联指标监控数据记录的记录名称键值。
优选地，所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识包括以下至少一项：用户标识、实例标识，表标识，操作标识。
优选地，所述维度键值包括被监控对象的级别。
优选地，所述监控对象的级别包括以下一项：用户，实例，实例表或操作。
优选地，所述维度键值采用最短简写标识。
优选地，所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值包括：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别作为所述关联指标监控数据记录的维度键值。
优选地，所述利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述各个关联指标监控数据记录的索引键值包括：
利用所述关联指标监控数据记录的维度键值和所述记录名称键值，采用哈希算法，生成所述关联指标监控数据记录的索引键值。
优选地，所述哈希算法为消息摘要算法第五版。
优选地，所述采用哈希算法，利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值包括：
将利用所述关联指标监控数据记录的维度键值和所述记录名称键值，截取采用哈希算法得到的值的5位作为所述关联指标监控数据记录的索引键值。
优选地所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值包括：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间距预先指定的时间点的时长作为所述关联指标监控数据记录的时间戳键值。
优选地，所述存储所述关联指标监控数据记录包括：
基于所述关联指标监控数据记录的索引键值，确定其存储的位置；
将所述关联指标监控数据记录存储到所述位置所对应的设备。
本申请提供的一种存储监控数据的装置包括以下单元：
获取单元，用于获取监控数据；
合并单元，用于将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录；
存储单元，用于存储所述关联指标监控数据记录。
优选地，所述合并单元包括：
关联指标合并子单元，用于将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的监控指标组合成为关联指标，并命名所述关联指标；
记录名称键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值；
维度键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值；
索引键值生成子单元，用于利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值；
时间戳键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值；
记录形成子单元，用于将所述关联指标监控数据记录索引键值，维度键值，记录名称键值和时间戳键值作为主键，所述关联指标作为记录值形成关联指标监控数据记录。
优选地，所述记录名称键值生成子单元具体用于：
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识所包含的各级所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识组成所述关联指标监控数据记录的记录名称键值。
优选地，所述维度键值生成子单元具体用于：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别作为所述关联指标监控数据记录的维度键值。
优选地，所述索引键值生成子单元具体用于：
利用所述关联指标监控数据记录的维度键值和所述记录名称键值，采用哈希算法生成所述关联指标监控数据记录的索引键值。
优选地，所述时间戳生成单元具体用于：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间距预先指定的时间点的时长作为所述关联指标监控数据记录的时间戳键值。
优选地，所述存储单元包括：
存储位置确定子单元，用于基于所述关联指标监控数据记录的索引键值，确定其存储的位置；
存储子单元，用于将所述关联指标监控数据记录存储到所述位置所对应的设备。
与现有技术相比，本申请提供的一种存储监控数据的方法具有以下优点：
将相互关联的监控数据记录合并在一起，作为关联存储记录存储，能够避免同一被监控对象的不同的监控指标的键值包含过多重复信息的问题，不仅达到节约大量的存储空间的效果，更能够使得一次写入或读出同一被监控对象的多个监控指标，起到提高存储和访问监控数据的效率的作用。
附图说明
图1为本申请第一实施例一种存储数据的方法的流程示意图；
图2为本申请第二实施例一种存储数据的装置的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请第一实施例提供一种存储数据的方法，其流程示意图如图1所示，包括以下步骤：
步骤S101，获取监控数据。
作为为用户提供业务服务的大型IT系统，向用户和系统维护人员提供系统所运行的各级业务或其各级单元的各种性能指标数据，是系统必不可少的功能。为了能够向用户和系统维护人员提供系统所运行的业务以及其各级业务应用或各级单元的各种性能指标数据，所述系统上除了相应的业务应用外，还会部署监控系统对其所运行的相应的业务应用或业务单元进行周期性的监控。
所述监控系统每隔固定的时间间隔对被监控系统(即所述提供业务服务的系统)的同一被监控对象的各个特征和性能进行统计，测量或评估，并生成相应的统计，测量或评估值，所述被监控对象的各个特征和性能即为所述被监控对象的各个指标；所述生成的生成相应的统计，测量或评估值即为与所述各个指标相对应的指标值。
通常情况下，监控系统一次对同一被监控对象的各个指标进行统计，测量或评估时，会将所生成的各个业务监控数据的时间标识标记为相同时间。所述相同时间通常可以表示进行统计，测量或评估的时间，也可以表示生成相应数据的时间，还可以表示从前一次对所述被监控对象的各个指标进行统计，测量或评估到本次对同一被监控对象的各个指标进行统计，测量或评估的时间段。
被监控系统包含各个级别的子应用或子单元，相对低级别的某一子应用或子单元向上直接对应于一个更高一级的子应用或子单元。相对高级别的子应用或子单元向下会直接对应一个或多个低一级别的子应用或子单元。某一子应用或子单元向上仅可能直接对应一个高一级别的子应用或子单元。同一级别的不同子应用或子单元向下不会直接对应于同一个低一级别的子应用或子单元。被监控对象即为被监控系统中某一级别的某个子应用或子单元。
为了后续能够为用户和维护人员便捷地提供符合其预期的各个被监控对象不同时间的各个指标数据，上述监控数据需要经本方法处理后存储。本步骤即获取如上所述的监控数据。例如，获取的监控数据如下表1所示：
被监控对象标识 被监控对象类别 时间戳 指标标识 指标值
U_19872_instance1 instance 2016/2/29 17:57:10 tps 102
U_19872_instance1 instance 2016/2/29 17:57:10 avgLat 10
U_19872_instance1 instance 2016/2/29 17:57:20 tps 100
U_19872_instance1 instance 2016/2/29 17:57:20 avgLat 9
U_17652_instance1_table1 instance-table 2016/2/29 17:57:30 tps 22
U_17652_instance1_table1 instance-table 2016/2/29 17:57:30 avgLat 10
U_17652_instance1_table2 instance-table 2016/2/29 17:57:30 tps 31
U_17652_instance1_table2 instance-table 2016/2/29 17:57:30 avgLat 10
表1
表1所示的为业务监控系统产生的业务监控数据，该业务系统存储用户所的各个实例以及每个实例所包含的各个表格，监控系统对所述业务系统所存储的各个用户的各个实例的，各个实例所对应的各个表格或对各个表格所所进行的各个操作进行监控，周期性地统计，测或评估各个指标并生成监控数据。
所述业务系统作为被监控系统，其各个级别的子应用或子单元从高级别到低级别依次分别为：各个用户，各个用户的各个实例，各个所用户的各个实例的各个表格以及对各个所用户的各个实例的各个表格所进行的操作。
每个用户向下直接对应于所述用户的各个实例，所述各个实例向上直接对应于所述用户；每个实例向下直接对应于所述实例所包含的各个表格，所述各个表格向上直接对应于所述实例；每个表格向下直接对应于对所述表格进行的各个操作，所述各个操作向上直接对应于所述表格。
其中被监控对象标识能够在所述被监控系统中唯一确定被监控对象，如被监控对象的标识为“U_19872_instance1”，“U_17652_instance1_table1”或“U_17652_instance1_table2”为分别表示被监控系统中的不同被监控对象。
被监控对象的级别参数表明被监控对象的级别，如被监控对象“U_19872_instance1”的级别为“instance”，被监控对象“U_17652_instance1_table2”的级别为“instance-table”。
时间标识参数可以用来表示所述监控数据生成的时间或对相应的被监控对象当此进行统计，测量或评估的时间。
指标标识和指标值表示对被相应的监控对象进行统计，测量或评估的内容以及所得到的结果的值。
步骤S102，将所述监控数据中相互关联的监控数据记录合并成为关联监控数据记录。
根据应用场景的不同，相互关联的数据也会不同，例如，对于关注不同被监控对象之间相同的指标的指标值的情况，可以将指标标识相同，时间相同的监控数据记录合并为关联监控数据记录。
为了向维护人员和用户快速，方便地提供针对被监控对象的不同指标的情况，本实施例优选地提供以下的将所述监控数据中相互关联的监控数据记录合并成为关联监控数据记录的方式：
将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的监控指标组合成为关联指标，并命名所述关联指标。
用户或维护人员通常情况下多需要查询某一个被监控对象某一时间的所有的指标的情况，本实施例将这些指标组合在一起作为该被监控对象在所述时间的关联指标。所述关联指标采用结构化形式，其中包含有被合并的各个监控指标的标识及其值。
例如，对于表1中所示的获取到的监控数据记录，下述两条数据的被监控对象相同且时间标识相同，
U_19872_instance1 instance 2016/2/29 17:57:10 tps 102
U_19872_instance1 instance 2016/2/29 17:57:10 avgLat 10
将他们的指标组合为：
{tps:102
avgLat:10
}
并命名。命名各个关联指标的方式可以有多种，如在名称中包含尽可能多的信息表名各个关联指标的来源，也可以以进行关联的时间相关的信息命名各个关联指标。本实施例优选地提供以单字节字符作为各个关联指标的名称，这样能够避免存储过多重复的信息，起到节省存储空间的作用。
例如对于上述的合并后的指标{tps:102avgLat:10}，可以将其命名为“a”。即合并后的关联指标为：“a:{tps:102avgLat:10}”。
同样的，对于表1中的下述两条记录，
U_19872_instance1 instance 2016/2/29 17:57:20 tps 100
U_19872_instance1 instance 2016/2/29 17:57:20 avgLat 9
可以将其指标组合成为关联指标“b:{tps:100avgLat:9}”。
对于下述两条记录：
U_17652_instance1_table1 instance-table 2016/2/29 17:57:30 tps 22
U_17652_instance1_table1 instance-table 2016/2/29 17:57:30 avgLat 10
可以将其指标组合成为关联指标“c:{tps:22avgLat:10}”。
对于下述两条记录：
U_17652_instance1_table2 instance-table 2016/2/29 17:57:30 tps 31
U_17652_instance1_table2 instance-table 2016/2/29 17:57:30 avgLat 10
可以将其指标组合成为关联指标“d:{tps:31avgLat:10}”。
除了将关联指标合并，还要利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值。
利用利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值的方法可以有多种，如将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识直接作为所述关联指标监控数据记录的记录名称键值等，本实施例优选地提供以下的方法：
步骤一，根据所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识确定所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识。
被监控系统的各个子应用或子单元具有各自的子标识，所述子标识用于在同一级别的子应用或子单元中唯一地确定某一子应用或子单元。
步骤二，生成关联指标监控数据记录的记录名称键值，使其包含所述各个子标识。
本实施例优选地提供以字符串的形式作为所述记录名称键值。在所述子标识间也可以加入连接符号，用来分割区分各级子标识。起到增加所述关联指标监控数据记录可读性的作用。
被监控对象由其标识在所述的被监控系统内所唯一确定，用以区别不同的被监控对象。通常情况下，作为被监控系统内某一级别的子应用或子单元，被监控对象的标识中除了包括其所对应的被监控系统的子应用或子单元的子标识外，还会包括其所属的更高级别的各级子应用或子单元的标识。
对于被监控对象的标识中包含其所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识的情况，可以从所述被监控对象的标识中提取相应的各个子标识。
对于被监控对象的标识中不包含其所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识的情况，可以利用所述被监控对象的标识在所述被监控系统中的惟一性，从如系统配置管理信息或其他途径查询并获得所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识。
对于存储了用户的各个实例以及各个实例的各个表格的系统，各级子应用或子单元的子标识分别为用户标识，实例标识，表标识和操作标识。利用该系统的被监控对象的标识生的记录名称键值包含至少一项下述信息：用户标识。实例标识，表标识，操作标识。
如表1所示的监控数据记录的被监控对象标识中，包含了系统中用户标识的信息，用户的实例的实例标识的信息或用户的实例的表格的表标识的信息，可以从中提取相应的子标识并生成相应的记录名称键值。
被监控对象标识为“U_19872_instance1”表示被监控对象为用户“19872”的实例“instance1”。被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识分别为：实例标识“instance1”和用户标识“19872”。
被监控对象标识为“U_17652_instance1_table1”表示被监控对象为用户“17652”的实例“instance1”的表格“table1”。被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识分别为：表标识“table1”，实例标识“instance1”和用户标识“17652”。
被监控对象标识为“U_17652_instance1_table2”表示被监控对象为用户“17652”的实例“instance1”的表格“table2”。被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识分别为：表标识“table2”，实例标识“instance1”和用户标识“17652”。
采用字符串形式，以“:”作为链接符号，用上述被监控对象的所对应的各个子标识组成记录名称键值可以得到：
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:10”的监控数据记录所对应的关联指标监控数据记录的记录的名称键值为“19872:instance1”。
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:20”的监控数据记录所对应的关联指标监控数据记录的记录的名称键值为“19872:instance1”。
对于被监控对象标识为“U_17652_instance1_table1”且时间标识为“2016/2/2917:57:30”的监控数据记录所对应的关联指标监控数据记录的记录的名称键值为“17652:instance1:table1”。
被监控对象标识为“U_17652_instance1_table2”且时间标识为“2016/2/2917:57:30”的监控数据记录所对应的关联指标监控数据记录的记录的名称键值为“17652:instance1:table2”。
若所述监控数据中的被监控对象的标识还包含对表的操作的子标识的情况，则还相应的关联指标监控数据记录的记录名称键值还要操作标识的信息。所述操作可以包括：读，写，修改，增加，删除等。例如字符串形式作为记录名称键值可以为“17652:instance1:table2:read”等。
除了关联指标和记录名称键值外，还需要利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值。
为了尽可能准确地确定被监控对象，将被监控对象的级别作为关联指标监控数据记录的维度键值。对于大型的IT系统，监控系统会对不同级别的被监控对象的各个指标进行周期性的监控。不同的被监控对象所对应的被监控对象级别不同。
对于存储了用户的各个实例以及各个实例的各个表格的系统，被监控对象的级别包括用户(user)，实例(instance)，实例表(instance-table)和操作(operation)。
例如，对于表1所示的监控数据记录，
被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:10”的监控数据记录的被监控对象的级别为实例(instance)。
被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:20”的监控数据记录的被监控对象的级别为实例(instance)。
被监控对象标识为“U_17652_instance1_table1”且时间标识为“2016/2/2917:57:30”的监控数据记录的被监控对象的级别为实例表(instance-table)。
被监控对象标识为“U_17652_instance1_table2”且时间标识为“2016/2/2917:57:30”的监控数据记录的被监控对象的级别为实例表(instance-table)。
将上述各个被监控对象的级别分别作为所述被监控对象所对应的关联指标监控数据记录的维度键值。优选地，可以采用最短简写的方式，以节省存储空间，即：
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:10”的监控数据记录所对应的关联指标监控数据记录的维度键值生成为“i”(instance)。
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:20”的监控数据记录所对应的关联指标监控数据记录的维度键值生成为“i”(instance)。
对于被监控对象标识为“U_17652_instance1_table1”且时间标识为“2016/2/2917:57:30”的监控数据记录所对应的关联指标监控数据记录的维度键值生成为“it”(instance-table)。
对于被监控对象标识为“U_17652_instance1_table2”且时间标识为“2016/2/2917:57:30”的监控数据记录所对应的关联指标监控数据记录的维度键值生成为“it”(instance-table)。
生成所述的记录名称键值和维度键值后，需要利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值。
对于大型的IT系统，监控数据的存储通常部署在不同的节点上，关联指标监控数据存储同样也可以存储到分布式系统的各个节点上。由于对监控数据的访问具有显著的时间性特点，即对于越接近当前的数据读写等访问操作频率越高，对于距今越久远的数据的读写等访问操作频率越低。对于现有的以时间标识为键值索引并确定存储位置的分布式系统来说，绝大多数情况下，时间相邻近的数据被存储在同一设备，存储越近监控数据的节点被访问的频率越高，存储越久远监控数据的节点被访问的频率越低。
为了将所述关联指标监控数据存储到分布式系统的各个节点上，并且实现对将所述关联指标监控数据的访问操作(读或写)也均匀地分散到分布式系统的各个节点上，可以利用前述生成的记录名称键值和维度键值成所述关联指标监控数据记录的索引键值。
这样不仅能够将数据存储到分布式系统的各个节点，更由于所述记录名称键值和维度键值不包含时间相关的信息，能够避免由于对关联指标监控数据访问操作的时间性特点导致的对各个节点的访问操作不均衡的问题。
生成所述关联指标监控数据记录的索引键值的方法可以有多种，如，将维度键值和所述记录名称键值进行各种运算，根据运算的结果确定索引键值，可以根据存储系统的实际情况采用相对应地方式，本实施例优选地提供以下的方式：
将所述关联指标监控数据记录的维度键值与其记录名称键值拼接在一起生成单一值，拼接的前后顺序可以为记录名称键值在前，也可以为维度键值在前。其间也可以加入必要的连接符号，以分隔各个不同的部分。增加数据记录的可读性。
利用哈希算法取得所生成的单一值的哈希值，哈希算法能够将所生成的单一值映射为较短的固定长度的哈希值。所述哈希值是所生成的单一值的唯一且极其紧凑的数值表示形式。将所述哈希值作为所述关联指标监控数据记录的索引键值。即所述索引键值能够用来唯一地确定所述关联指标监控数据记录的维度键值与记录名称键值。
优选地，本实施例提供利用消息摘要算法第五版(MD5)生成所述哈希值。MD5算法是目前比较成熟的哈希算法，能够尽可能避免冲突的产生。同时，可以将所述哈希值(即所述索引键值)的长度限制到5位，以尽可能的节省存储空间。
例如对于表1所示的监控数据记录，合并为关联指标监控数据记录的记录名称键值和相应的维度键值分别为：
对于记录名称键值和索引键值分别为“19872:instance1”和“i”的关联指标监控数据记录，将他们用与生成记录名称键值时相同的连接符号拼接起来，得到单一值“19872:instance1:i”，对所述单一值进行MD5运算，并截取前5位得到相应的索引键值：7D74B；
对于记录名称键值和索引键值分别为“17652:instance1:table1”和“it”的关联指标监控数据记录，将他们用与生成记录名称键值时相同的连接符号拼接起来，得到单一值“17652:instance1:table1:it”，对所述单一值进行MD5运算，并截取前5位得到相应的索引键值：20FFB。
对于记录名称键值和索引键值分别为“17652:instance1:table2”和“it”的关联指标监控数据记录，将他们用与生成记录名称键值时相同的连接符号拼接起来，得到单一值“17652:instance1:table2:it”，对所述单一值进行MD5运算，并截取前5位得到相应的索引键值：13C5E。
对于关联指标监控数据记录，还需要利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值。
利用时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值的方法可以有多种，如直接将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识作为所述关联指标监控数据记录的时间戳键值，也可以按照本实施例提供的方法进行处理：
将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间与预先设定的时间点的时长作为所述关联指标监控数据记录的时间戳键值。
采用时间标识所对应的时间与预先设定的时间点的时长作为时间戳键值能够避免由于一些设置如不同时区导致的换算，简化数据处理。
例如Unix系统提供的时间戳(Unix Time Stamp)是从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数，可以采用从1970年1月1日(UTC/GMT的午夜)开始至监控数据记录的时间标识所对应的时间所经过的秒数作为被监控对象的标识相同且监控指标的时间标识相同的监控数据记录所生成的关联指标监控数据记录的时间戳键值。
采用上述方式，对于表1所示的监控数据记录中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间特征值分别为：
对于被监控对象标识为“U_19872_instance1”，时间标识为“2016/2/2917:57:10”的监控数据记录所对应关联指标监控数据记录的时间戳键值为：1456739830；
对于被监控对象标识为“U_19872_instance1_table1”，时间标识为“2016/2/2917:57:20”的监控数据记录所对应关联指标监控数据记录的时间戳键值为：1456739840；
对于被监控对象标识为“U_17652_instance1_table1”，时间标识为“2016/2/2917:57:30”的监控数据记录所对应关联指标监控数据记录的时间戳键值为：1456739850；
对于被监控对象标识为“U_17652_instance1_table2”，时间标识为“2016/2/2917:57:30”的监控数据记录所对应关联指标监控数据记录的时间戳键值为：1456739850。
将所述关联指标监控数据记录索引键值，维度键值，记录名称键值和时间戳键值作为主键，所述关联指标作为记录值形成一条关联监控数据记录。
前述的关联指标和各个键值生成后，形成一条关联指标监控数据记录，对于表1所示的监控数据，按照本步骤所述的方法，
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:10”的监控数据记录，其所对应的关联指标监控数据记录的索引键值为：“7D74B”，维度键值为：“i”，记录名称键值为：“19872:instance1”，时间戳键值为：“1456739830”，关联指标为：“a:{tps:102avgLat:10}”，所形成的关联指标将空数据记录为：
对于被监控对象标识为“U_19872_instance1”且时间标识为“2016/2/2917:57:20”的监控数据记录，其所对应的关联指标监控数据记录的索引键值为：“7D74B”，维度键值为：“i”，记录名称键值为：“19872:instance1”，时间戳键值为：“1456739840”，关联指标为：“a:{tps:100avgLat:9}”，所形成的关联指标将空数据记录为：
对于被监控对象标识为“U_17652_instance1_table1”且时间标识为“2016/2/2917:57:30”的监控数据记录，其所对应的关联指标监控数据记录的索引键值为：“20FFB”，维度键值为：“it”，记录名称键值为：“17652:instance1:table1”，时间戳键值为：“1456739850”，关联指标为：“a:{tps:22avgLat:10}”，所形成的关联指标将空数据记录为：
对于被监控对象标识为“U_17652_instance1_table2”且时间标识为“2016/2/2917:57:30”的监控数据记录，其所对应的关联指标监控数据记录的索引键值为：“13C5E”，维度键值为：“it”，记录名称键值为：“17652:instance1:table2”，时间戳键值为：“1456739850”，关联指标为：“a:{tps:31avgLat:10}”，所形成的关联指标将空数据记录为：
即表1所示的监控数据最终能够形成如下表2所示的关联指标监控数据：
表2
步骤S103，存储所述关联监控数据记录。
将在前一步骤中形成的关联指标监控数据记录按照预先制定的存储规则存储到相应的设备。存储关联指标监控数据记录的方式有多种，如按照所述记录生成的时间顺序将其存储到目标设备，待目标设备存储满后，将后续生成的记录存储到另一设备等，本实施例优选地提供以下的方式：
对于在前一步骤中生成了索引键值的关联指标监控数据记录，可以基于所述记录的索引键值确定所述记录的存储位置，如机房，机架，机框，或硬盘。例如，将索引键值相同的记录存储到同一硬盘设备，将索引键值不同的记录存储到不同的硬盘设备。
由于所述索引键值的时间不相关特性，本步骤提供的存储方法能够将时间戳所对应的时间相同或向邻近的关联指标监控数据记录尽可能均匀地存储到不同的设备上，以使得后续维护人员或用户访问这些关联指标监控数据时，将对数据的访问分散到不同的设备，均衡负载。避免短时间内对个别存储设备的大量读写操作。更能够避免由于个别存储设备的故障或损坏导致所述时间内全部关联指标监控数据的损失。
对于表1所示的监控数据，按照本实施例的方法所形成的各个关联指标监控数据记录，根据索引键值确定其存储位置，如硬盘存储设备。
对于由表1所示的监控数据按照本实施例的方法所形成的下述关联指标监控数据记录：
和
由于其索引键值相同，可以将他们存储到同一硬盘存储设备。
对于由表1所示的监控数据按照本实施例的方法所形成的下述关联指标监控数据记录：
和
由于其索引键值不同与其他任何记录的索引键值，将他们分别存储到不同的硬盘存储设备。可见虽然上述两条关联指标监控数据记录的时间戳相同，由于其索引键值不同，按照本步骤提供的方法能够将它们分别存储到不同的硬盘存储设备。
表1所示的监控数据为时间(分别为2016/2/29 17:57:10，2016/2/2917:57:10和2016/2/29 17:57:30)相邻的数据，根据本实施提供的优选地方法形成关联指标监控数据记录并存储后，能够将合并形成的所述4条关联指标监控数据记录分散存储到3个不同的硬盘存储设备。
无论当进行批量存储还是当用户或系统维护人员调用访问上述时间内的所有数据时，都会访问读取不同的硬盘存储设备，不会对任何一个硬盘存储设备造成突发的大量数据读写的操作，均衡了网络和设备的负荷。也不会由于单一设备的故障导致所有上述时间段内关联指标监控数据的损失。
以上为本申请的一种存储监控数据的方法的实施例，该方法将相互关联的监控数据记录合并在一起，作为存储记录存储，能够避免同一被监控对象的不同的监控指标的键值包含过多重复信息的问题，不仅达到节约大量的存储空间的效果，更能够使得一次写入或读出同一被监控对象的多个监控指标，起到提高存储和访问监控数据的效率的作用。
相应的，本申请的第二实施例提供一种存储监控数据的装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。其结构框图如图2所示，该装置包括以下单元：获取单元U201，合并单元U202和存储单元U203。
所述获取单元U201，用于获取监控数据。
所述合并单元U202，用于将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录。
所述存储单元U203，用于存储所述关联指标监控数据记录。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (25)

1.一种存储监控数据的方法，特征在于，包括以下步骤：
获取监控数据；
将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录；
存储所述关联指标监控数据记录。
2.根据权利要求1所述的存储监控数据的方法，其特征在于，所述将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录包括：
将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的监控指标组合成为关联指标，并命名所述关联指标；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值；
利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值；
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值；
将所述关联指标监控数据记录索引键值，维度键值，记录名称键值和时间戳键值作为主键，所述关联指标作为记录值形成关联指标监控数据记录。
3.根据权利要求2所述的存储监控数据的方法，其特征在于，所述关联指标为结构化数据，包括所述被监控对象的标识相同且监控指标的时间标识相同的所有监控指标的名称和值。
4.根据权利要求2所述的存储监控数据的方法，其特征在于，所述命名所述关联指标包括：采用单字节字符作为所述关联指标的名称。
5.根据权利要求2所述的存储监控数据的方法，其特征在于，所述记录名称键值包括字符串。
6.根据权利要求2所述的存储监控数据的方法，其特征在于，所述记录名称键值包括所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识。
7.根据权利要求6所述的存储监控数据的方法，其特征在于，所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识包括以下至少一项：用户标识、实例标识，表标识，操作标识。
8.根据权利要求2所述的存储监控数据的方法，其特征在于，所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值包括：
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识所包含的所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识组成所述关联指标监控数据记录的记录名称键值。
9.根据权利要求8所述的存储监控数据的方法，其特征在于，所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识包括以下至少一项：用户标识、实例标识，表标识，操作标识。
10.根据权利要求2所述的存储监控数据的方法，其特征在于，所述维度键值包括被监控对象的级别。
11.根据权利要求10所述的存储监控数据的方法，其特征在于，所述监控对象的级别包括以下一项：用户，实例，实例表或操作。
12.根据权利要求2所述的存储监控数据的方法，其特征在于，所述维度键值采用最短简写标识。
13.根据权利要求2所述的存储监控数据的方法，其特征在于，所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值包括：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别作为所述关联指标监控数据记录的维度键值。
14.根据权利要求2所述的存储监控数据的方法，其特征在于，所述利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述各个关联指标监控数据记录的索引键值包括：
利用所述关联指标监控数据记录的维度键值和所述记录名称键值，采用哈希算法，生成所述关联指标监控数据记录的索引键值。
15.根据权利要求14所述的存储监控数据的方法，其特征在于，所述哈希算法为消息摘要算法第五版。
16.根据权利要求14所述的存储监控数据的方法，其特征在于，所述采用哈希算法，利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值包括：
将利用所述关联指标监控数据记录的维度键值和所述记录名称键值，截取采用哈希算法得到的值的5位作为所述关联指标监控数据记录的索引键值。
17.根据权利要求2所述的存储监控数据的方法，其特征在于，所述利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值包括：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间距预先指定的时间点的时长作为所述关联指标监控数据记录的时间戳键值。
18.根据权利要求2所述的存储监控数据的方法，其特征在于，所述存储所述关联指标监控数据记录包括：
基于所述关联指标监控数据记录的索引键值，确定其存储的位置；
将所述关联指标监控数据记录存储到所述位置所对应的设备。
19.一种存储监控数据的装置，特征在于，包括以下单元：
获取单元，用于获取监控数据；
合并单元，用于将所述监控数据中相互关联的监控数据记录合并成为关联指标监控数据记录；
存储单元，用于存储所述关联指标监控数据记录。
20.根据权利要求19所述的存储监控数据的装置，其特征在于，所述合并单元包括：
关联指标合并子单元，用于将所述监控数据中被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的监控指标组合成为关联指标，并命名所述关联指标；
记录名称键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识生成所述关联指标监控数据记录的记录名称键值；
维度键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别生成所述关联指标监控数据记录的维度键值；
索引键值生成子单元，用于利用所述关联指标监控数据记录的维度键值和所述记录名称键值生成所述关联指标监控数据记录的索引键值；
时间戳键值生成子单元，用于利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间生成所述关联指标监控数据记录的时间戳键值；
记录形成子单元，用于将所述关联指标监控数据记录索引键值，维度键值，记录名称键值和时间戳键值作为主键，所述关联指标作为记录值形成关联指标监控数据记录。
21.根据权利要求20所述的存储监控数据的装置，其特征在于，所述记录名称键值生成子单元具体用于：
利用所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的标识所包含的各级所述被监控对象所对应的子应用或子单元的子标识以及其所对应的更高级别的各级子应用或子单元的子标识组成所述关联指标监控数据记录的记录名称键值。
22.根据权利要求20所述的存储监控数据的装置，其特征在于，所述维度键值生成子单元具体用于：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的被监控对象的级别作为所述关联指标监控数据记录的维度键值。
23.根据权利要求20所述的存储监控数据的装置，其特征在于，所述索引键值生成子单元具体用于：
利用所述关联指标监控数据记录的维度键值和所述记录名称键值，采用哈希算法生成所述关联指标监控数据记录的索引键值。
24.根据权利要求20所述的存储监控数据的装置，其特征在于，所述时间戳生成单元具体用于：
将所述监控数据中所述被监控对象的标识相同且监控指标的时间标识相同的监控数据记录的时间标识所对应的时间距预先指定的时间点的时长作为所述关联指标监控数据记录的时间戳键值。
25.根据权利要求20所述的存储监控数据的装置，其特征在于，所述存储单元包括：
存储位置确定子单元，用于基于所述关联指标监控数据记录的索引键值，确定其存储的位置；
存储子单元，用于将所述关联指标监控数据记录存储到所述位置所对应的设备。
CN201610437565.5A 2016-06-17 2016-06-17 一种存储监控数据的方法及装置 Active CN107515807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610437565.5A CN107515807B (zh) 2016-06-17 2016-06-17 一种存储监控数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610437565.5A CN107515807B (zh) 2016-06-17 2016-06-17 一种存储监控数据的方法及装置

Publications (2)

Publication Number Publication Date
CN107515807A true CN107515807A (zh) 2017-12-26
CN107515807B CN107515807B (zh) 2021-05-07

Family

ID=60719978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610437565.5A Active CN107515807B (zh) 2016-06-17 2016-06-17 一种存储监控数据的方法及装置

Country Status (1)

Country Link
CN (1) CN107515807B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032884A (zh) * 2018-06-11 2018-12-18 平安科技（深圳）有限公司 一种监控数据的处理方法、服务器及计算机可读存储介质
CN110858341A (zh) * 2018-08-22 2020-03-03 中国移动通信集团重庆有限公司 基于分布式存储系统的指标监控方法、装置、设备和介质
CN111475105A (zh) * 2020-03-11 2020-07-31 平安科技（深圳）有限公司 监控数据存储方法、设备、服务器及存储介质
CN111680112A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 一种数据分析方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989283A (zh) * 2009-08-04 2011-03-23 中兴通讯股份有限公司 一种数据库性能的监控方法和装置
CN103200046A (zh) * 2013-03-28 2013-07-10 青岛海信传媒网络技术有限公司 监控网元设备性能的方法及系统
US20140279836A1 (en) * 2013-03-13 2014-09-18 Sap Ag Configurable Rule for Monitoring Data of In Memory Database
CN104331505A (zh) * 2014-11-20 2015-02-04 合一网络技术(北京)有限公司 一种基于分布式采集及存储的监控系统
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技（深圳）有限公司 数据处理方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989283A (zh) * 2009-08-04 2011-03-23 中兴通讯股份有限公司 一种数据库性能的监控方法和装置
US20140279836A1 (en) * 2013-03-13 2014-09-18 Sap Ag Configurable Rule for Monitoring Data of In Memory Database
CN103200046A (zh) * 2013-03-28 2013-07-10 青岛海信传媒网络技术有限公司 监控网元设备性能的方法及系统
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技（深圳）有限公司 数据处理方法、装置及系统
CN104331505A (zh) * 2014-11-20 2015-02-04 合一网络技术(北京)有限公司 一种基于分布式采集及存储的监控系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032884A (zh) * 2018-06-11 2018-12-18 平安科技（深圳）有限公司 一种监控数据的处理方法、服务器及计算机可读存储介质
CN109032884B (zh) * 2018-06-11 2021-05-28 平安科技（深圳）有限公司 一种监控数据的处理方法、服务器及计算机可读存储介质
CN110858341A (zh) * 2018-08-22 2020-03-03 中国移动通信集团重庆有限公司 基于分布式存储系统的指标监控方法、装置、设备和介质
CN111475105A (zh) * 2020-03-11 2020-07-31 平安科技（深圳）有限公司 监控数据存储方法、设备、服务器及存储介质
CN111475105B (zh) * 2020-03-11 2024-05-03 平安科技（深圳）有限公司 监控数据存储方法、设备、服务器及存储介质
CN111680112A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 一种数据分析方法及装置

Also Published As

Publication number Publication date
CN107515807B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US11921606B2 (en) Methods and systems for determining system capacity
US11710131B2 (en) Method and apparatus of identifying a transaction risk
AU2017202873B2 (en) Efficient query processing using histograms in a columnar database
US9906405B2 (en) Anomaly detection and alarming based on capacity and placement planning
US10726356B1 (en) Target variable distribution-based acceptance of machine learning test data sets
US9495640B1 (en) Inferring application type based on input-output characteristics of application storage resources
Ularu et al. Perspectives on big data and big data analytics
US11023251B2 (en) Efficient sharing of artifacts between collaboration applications
CN107515807A (zh) 一种存储监控数据的方法及装置
CN106021369A (zh) 一种用于数据变更管理的方法与设备
CN106126551A (zh) 一种Hbase数据库访问日志的生成方法、装置及系统
CN104182435A (zh) 基于数据缺失标记的信息检索系统及方法
CN113641526B (zh) 告警根因定位方法、装置、电子设备及计算机存储介质
CN114238085A (zh) 接口测试方法、装置、计算机设备、存储介质
US8548980B2 (en) Accelerating queries based on exact knowledge of specific rows satisfying local conditions
CN108959497A (zh) 分布式文件系统日志处理方法、装置、设备及存储介质
US20080033995A1 (en) Identifying events that correspond to a modified version of a process
CN106682180A (zh) 数据查询方法及装置
US10614225B2 (en) System and method for tracing data access and detecting abnormality in the same
CN114281242B (zh) 存储器负载均衡的方法、装置和设备
CN108769123B (zh) 一种数据系统及数据处理方法
Petrov et al. Relative Performance of Various Types of Repositories for MySQL Archive Backup and Restore Operations
JP2016184213A (ja) 数値データを匿名化する方法及び数値データ匿名化サーバ
Cui et al. User Behavior Auditing in Electric Management Information System based on Graph Clustering
CN115841275B (zh) 基于ai的数据管理水平的体检方法及装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant