CN104731690B - 适应性度量收集、存储、和警告阈值 - Google Patents

适应性度量收集、存储、和警告阈值 Download PDF

Info

Publication number
CN104731690B
CN104731690B CN201410639822.4A CN201410639822A CN104731690B CN 104731690 B CN104731690 B CN 104731690B CN 201410639822 A CN201410639822 A CN 201410639822A CN 104731690 B CN104731690 B CN 104731690B
Authority
CN
China
Prior art keywords
computer
metric
measurement
storage
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410639822.4A
Other languages
English (en)
Other versions
CN104731690A (zh
Inventor
罗伊·拉波波尔特
布伦特·皮特曼
布莱恩·哈林顿
丹尼尔·穆伊诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netflix Inc
Original Assignee
Netflix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netflix Inc filed Critical Netflix Inc
Publication of CN104731690A publication Critical patent/CN104731690A/zh
Application granted granted Critical
Publication of CN104731690B publication Critical patent/CN104731690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/008Reliability or availability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/076Error or fault detection not based on redundancy by exceeding limits by exceeding a count or rate limit, e.g. word- or bit count limit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/328Computer systems status display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0681Configuration of triggering conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开涉及一种适应性度量收集、存储、和警告阈值。在一种途径中,度量收集器计算机将度量作为键‑值对的集合进行处理。键‑值对表示度量的维度并允许基于键对度量进行语义查询。在一种途径中,存储控制器计算机维护存储系统,该存储系统具有按照存取速度排列的多个存储层。存储计算机存储指定规则的策略数据,度量记录被按照指定的规则存储在多个存储层中。存储计算机周期性地基于策略数据将数据库记录移动到较高或较低层。在一种途径中,度量控制器响应于接收到新度量,基于先前记录的度量值生成预测度量值,并测量预测度量值和新度量值之间的偏离以判定发出警告是否是恰当的。

Description

适应性度量收集、存储、和警告阈值
技术领域
本公开一般涉及度量收集和分析的方面,包括适应性度量存储和警告(alert)阈值。
背景技术
本节中所述的方式是能够继续发展的方式,但不一定是先前已经被构思或追寻过的方式。因此,除非以其他方式指明,不应当仅仅由于这些方式被包括在本章节中就假定本章节所述的任何方式为现有技术。
度量收集被用于很多不同上下文中。在本上下文中的“度量(metric)”指代表示计算机、网络、系统或服务的使用或性能特性的数据值。在一些情形中,度量被系统管理者用于确定网络的健康度。在其他情形中,度量被广告商用于开发针对具体人口统计的市场战略。然而,与度量收集、存储和基于度量的警告有关的传统技术具有显著的局限性。
在度量收集领域,现有的度量收集技术已使用“字符串”作为传输度量的格式。然而,对字符串执行搜索问询通常需要执行昂贵的正则表达式操作从而获得有用的度量数据。在度量存储领域,企业会努力解决如何使用有限集的资源来高效地存储巨量的度量数据的问题。通常,企业执行数据缩减以通过移除或合并较旧的度量来减少需要被存储的数据量(因此降低了存储成本)。然而,这样的技术是不灵活的并且不允许在用户的需求随时间变化时对旧数据的恢复。在警告阈值的领域,网络管理者开发出这样的系统,该系统基于诸如延迟、丢掉的连接、拒绝的请求等等的度量来提供关于操作环境中潜在的问题的自动通知。然而,对度量的值采用静态绝对限制的传统技术经常在某些情况下生成误报(falsepositives)。例如,在短时间内接收到的大量请求可能预示网络正在经历拒绝服务(DoS)攻击。然而,对所接收到的请求的数目的硬性阈值限制导致了生成活动的合法爆发的事件发生情形中的误报。例如,如果企业提供流媒体服务,那么新的电影大片被放到流上的夜晚会导致与阈值被初始设定时所预期的流量相比高得多的流量流,因此导致了针对合法的活动生成的警告。
发明内容
根据本发明的一个方面,提供了一种计算机实现的方法,包括:由度量收集器计算机存储先前收集的度量值,所述先前收集的度量值是基于一个或多个先前时间段内从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的;由所述度量收集器计算机在当前时间段接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;由所述度量收集器计算机对所述先前收集的度量值执行回归分析以确定所述当前时间段的预测度量值;以及响应于确定所述预测度量值和所述新度量值之间的偏离大于指定阈值,由所述度量收集器计算机生成警告。
根据本发明的另一个方面,提供了存储有执行相应方法的非暂态计算机可读介质。根据本发明的又另一个方面,提供了一种系统,所述系统包括具有存储器、处理器、由处理器执行的过程的度量收集器计算机,所述度量收集器计算机被配置为执行相应的方法。
附图说明
在附图中:
图1示出了可在其上实现实施例的示例操作环境。
图2示出了根据实施例用于收集度量的示例处理。
图3示出了根据实施例在框图中用于存储度量的示例处理。
图4示出了根据实施例在框图中使用适应性警告阈值的示例处理。
图5是示出了可在其上实现本发明的实施例的计算机系统的框。
具体实施方式
在以下说明中,为了解释的目的提出了众多具体细节以提供对于本发明的透彻理解。然而,清楚的是,可在没有这些具体细节的情况下实践本发明。在其他实例中,公知的结构和设备被示出在框图中以避免不必要地模糊了本发明。
为了方便起见,以下说明会提及诸如“消息”、“分组”、“帧”、“段”之类属于开放系统互联(OSI)模型的不同层的各种通信。然而,提到与特征相结合的特定类型的通信并不意图将该特征限制于OSI模型中的仅一层。因此,所论述的、可应用到OSI模型中的一层的特征还可应用到OSI模型中的其他层。
这里根据以下提纲来对实施例进行描述:
1.0 总体概述
2.0 示例操作环境
3.0 度量收集概述
4.0 度量存储概述
5.0 适应性警告阈值概述
6.0 实现机制-硬件概述
7.0 扩展和替换
---
1.0总体概述
如上所述,将度量作为长字符串传输需要进行正则表达式分析以执行对度量的具体类型的问询。然而,执行正则表达式分析能够是相当占用资源的。在实施例中,度量收集器计算机以记录格式从一个或多个客户端接收度量,其中度量包括标签以及一个或多个键/值对(key/value pair)二者。因此,标签能够被用于标识正被收集的度量的类型并且键/值对代表度量的维度或属性。结果,度量收集器计算机能够存储或者使得不同的元件存储所收集的度量记录到能够基于键进行语义问询的存储系统中,这在多数情形中将比正则表达式分析更加高效。
在实施例中,一种计算机实现的方法包括:度量收集器计算机从客户端计算机接收与从客户端计算机送往服务计算机的请求有关的第一度量记录,其中第一度量记录包括度量标签和多个键-值对。度量收集器计算机使得第一度量记录被存储到度量数据库中,该度量数据库包含被发送到服务伺服器计算机的请求的多个度量记录。度量收集器计算机在接收第一度量记录之后的一段时间从客户端计算机接收第二度量记录,其中第二度量记录包括度量标签和多个键-值对中其值在该段时间期间已经改变的一个或多个键-值对,而不包括多个键-值对中其值在该段时间期间尚未改变的一个或多个键-值对。度量收集器计算机通过基于度量数据库中存储的第一度量记录至少自动地填充多个键-值对中其值在该段时间期间尚未改变的一个或多个键-值对来将第二度量记录存储在度量数据库中。
如上所述,企业一般会尝试通过记录与数据点的群组有关的统计值同时从存储装置移除那些数据点来减少为所收集的度量存储的数据量。例如,通过在度量已经达到特定的年龄之后对度量进行聚合或合并。然而,上述方式是不灵活的并且限制了能够对度量数据执行的问询的类型。在实施例中,存储了度量的系统被划分为多个层,基于访问的速度对这多个层进行排名。例如,第一存储层可表示被完全保存在存储器中的活动集,第二存储层可表示被存储到硬驱动盘的RAID上的较不频繁活动集,并且第三存储层可表示诸如磁带机的集合之类的档案存储。负责确定度量如何被跨存储层存储的存储控制器计算机维护策略数据,该策略数据包括指示了要对符合一定标准的度量执行的动作的规则集。因此,例如存储控制器计算机可被配置为将较新的度量保存在更快的存储层上并且随时间逐渐地将度量降级到较低的存储层。在一些情形中,用户可能只关心度量数据点在信息是新的时处于精细的颗粒度水平,但是随后随度量信息变得更旧而需要不那么精确的数据。结果,存储控制器计算机可被配置为对特定的时间段之后的度量执行聚合和/或合并,随后将基本度量数据降级至较低的存储层。在一些实施例中,上述分层存储的一个优势是:如果用户的需求随时间改变,则存储在存储控制器计算机上的策略数据能够被更新以使得存储在个体层间的数据移位或者以其他方式依附于新的策略。因此,如果针对特定时间段的数据变得有兴趣,策略能够被改变以创建例外,该例外将此数据保存在较高的存储层并因此可更轻易地针对问询进行访问。另外,即使在度量数据保留在较低的存储层时被寻找,数据对于用户问询仍是可访问的同时仍然以资源高效的形式被存储。
在实施例中,一种计算机实现的方法包括:存储控制器计算机将多个度量记录存储到包括多个存储层的存储系统中,其中从最高到最低对存储层进行排名。响应于触发事件,存储控制器计算机基于策略数据对被存储在多个存储层中的特定存储层中的多个度量记录中的一个或多个度量记录执行聚合操作或者合并操作,其中策略数据规定了一组操作并且针对该组操作中的每个操作规定了对在其上执行操作的度量记录的一个或多个标准。存储控制器计算机将一个或多个度量记录从特定的存储层中移除并且将一个或多个度量记录存储在多个存储层中的较低存储层上。
如上所述,系统一般被开发为使用度量作为操作环境中的组件的健康或适当功能性的指示符。然而,由于估计出适当的限制的困难性,针对警告使用绝对静态阈值能够导致误报。例如,如果操作环境提供了流送视频服务,限制可被设定为在前一周期间所记录的度量的值(通过前一周的同一天期间的活动来估计该限制)。然而,如果新的视频被发布,当前周生成了与前一周相比多出许多量的活动;度量会大大超过所估计的限制,而其实际上不是指示管理者应当被警告的议题。在实施例中,度量收集器计算机使用先前收集的度量作为时间序列中的数据点并且计算出针对当前时间处的度量的预测值。度量收集器计算机随后将预测值与新纪录的度量值进行比较并确定偏离是否超出了特定的阈值。如果阈值被超过,度量收集器计算机生成警告。因此,警告仅在所收集的度量值显著远离先前的时间段期间度量所遵循的趋势时被发出。结果,阈值基于最近的趋势保持为可变的,而非依附于呆板的绝对限制。然而,在一些实施例中,还能够对技术进行组合,因此使得警告或者在度量值超过了静态绝对阈值、或者足够偏离阈值时被生成。例如,管理者可能想要警告在请求数接近系统不能够处理的水平时、或者在请求数极大地偏离了所预测的请求数时被发出。
在实施例中,一种计算机实现的方法包括:度量收集器计算机基于在一个或多个先前的时间段期间从一个或多个客户端计算机被发送至服务伺服器计算机的先前请求存储先前收集到的度量值。度量收集器计算机在当前的时间段处基于从特定的客户端计算机被发送至服务伺服器计算机的请求接收新的度量值。度量收集器计算机对先前收集到的度量值执行回归以确定当前时间段的预测度量值。响应于预测度量值与新的度量值之间的偏离大于规定的阈值的确定,度量收集器计算机生成警告。
在其他实施例中,本发明涵盖被配置为执行上述步骤的计算机可读介质、计算机装置和计算机系统。
2.0示例操作环境
图1示出了可在其上实现实施例的示例操作环境。在图1中,客户端计算机100、客户端计算机101、和客户端计算机102(被统称为“客户端”)通过网络103被通信地耦合到服务伺服器计算机105。度量收集器计算机104被配置作为客户端和服务伺服器计算机105之间的媒介(intermediary)。度量收集器计算机104被通信地耦合到存储控制器计算机106。存储控制器计算机106被通信地耦合到存储系统108,该存储系统108包含存储层1、存储层2、和存储层3。此外,存储控制器计算机106被通信地耦合到度量客户端计算机107。
尽管图1仅示出了特定数目的元件,实际环境可包含数百或数千个的每个元件。此外,实际环境可包含已经从图1中略去以避免模糊了说明的附加组件。例如,存储控制器计算机106可通过网络103或者图1中未示出的另一网络被通信地耦合值度量客户端计算机107。作为另一示例,每个计算机可包含未被具体示出的一个或多个软件和/或硬件组件,例如应用、处理器、存储等等。另外,实际环境科将多个元件的功能组合到单个元件中或者将单个元件的功能分开到多个元件中。例如,服务伺服器计算机105可被配置为还执行与度量收集器计算机104联合描述的任务。作为另一示例,存储控制器计算机106的功能可被划分到负责管理存储系统108的分离元件以及负责响应来自度量客户端计算机107的问询的分离元件中。
在实施例中,客户端表示一个或多个计算设备,例如个人计算机、工作站、膝上型计算机、网络本、平板计算机、或智能电话。在实施例中,客户端被配置为访问来自服务伺服器计算机105的服务。例如,如果服务伺服器计算机105运行web服务,那么客户端可执行将HTTP请求发送到服务伺服器计算机105的浏览器应用。
在实施例中,网络103表示一个或多个局域网、广域网、或互联网络中的任意组合。通过网络交换的数据可使用诸如互联网协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM)、和帧中继之类的多种网络层协议来进行传递。另外,在网络表示多个子网络的组合的实施例中,可在每个底层子网络处使用不同的网络层协议。
在实施例中,度量收集器计算机104表示被配置为从客户端收集度量信息的计算设备。在一些实施例中,度量收集器计算机104通过检测客户端和服务伺服器105之间的通信来被动地收集度量。例如,度量收集器计算机104可监控诸如通信的延迟、通信的带宽、在通信器件发送和/或接收的分组的数目、由客户端使用的网络地址/端口地址等等网络度量。此外,度量收集器计算机104可收集与客户端自身和/或由客户端请求的服务有关的度量。例如,请求和/或对请求的响应可包含诸如设备类型、国家、地区、请求的类型、请求的成功/失败、用户标识号、账户标识号、用户群组等等信息,度量收集器计算机104可将这些信息作为度量进行收集。
在其他实施例中,度量收集器计算机104在从客户端收集度量中扮演主动的角色。例如,度量收集器计算机104可周期地向客户端请求信息、或者客户端可被配置为周期地发送信息至度量收集器计算机104。在这样的实施例中,客户端可被配置为对日志进行维护,该日志标识了被发送至服务伺服器计算机105的请求和/或与请求的结果有关的信息。例如,假设客户端计算机100向服务伺服器计算机105提交激活账户的请求,客户端计算机100可在日志中存储记录,该记录标识了请求的类型、请求是否成功、客户端计算机100的设备类型、来源国、来源地区等等。在一些实施例中,客户端可被配置为以异步的形式向度量收集器计算机104发送度量。例如,客户端可响应于服务伺服器计算机105成功地或不成功地回应请求,来将度量发送至度量收集器计算机。在一些实施例中,度量收集器计算机104被配置为执行被动度量收集和主动度量收集的组合。
在实施例中,服务伺服器计算机105表示被配置为向客户端提供服务的计算设备。例如,服务伺服器计算机105可表示运行流媒体服务、在线游戏服务、广告服务、web站点、或者任何其他类型的服务的后端伺服器。服务伺服器计算机105所提供的确切服务对于这里所述的技术并非关键。
在实施例中,存储控制器计算机106表示被配置为管理所记录的度量的存储和访问的计算设备。在该特定情形中,存储控制器计算机106管理在存储系统108中存储的度量的存储和访问。例如,度量收集器计算机104周期性地将从客户端收集到的度量传递到存储控制器计算机106。存储控制器计算机106随后基于存储策略确定如何将信息存储到存储系统108内。例如,存储策略可规定由存储控制器计算机106用于确定哪一存储层将被用于存储信息的标准。在实施例中,存储控制器计算机106被配置为对来自度量客户端计算机107的针对存储在存储系统108中的信息的问询做出回应。例如,存储控制器计算机106可执行数据库软件,该数据库软件被配置为作为面向对象的或者关系型数据库将度量存储在存储系统108中。结果,度量客户端计算机107可通过提交一组谓项(predicate)来对度量进行问询,该谓项被存储控制器计算机106用于过滤和返回存储在存储系统108中的度量。在一些实施例中,存储控制器计算机106被配置为在将度量返回到度量客户端计算机107之间对度量进行处理。例如,存储控制器计算机106可执行统计操作,例如依据问询确定度量的最小值、最大值、计数值、均值、总值等等。
在实施例中,度量客户端计算机107表示被配置为针对度量对存储控制器计算机106进行问询的计算设备。例如,度量客户端计算机107可问询依附任意数目的标准的度量,例如适合网络性能、设备类型、请求类型、请求的成功或失败、来源地、来源地区、在其期间接收到请求的时间段等等的度量。
在实施例中,存储系统108表示存储设备的集合,存储控制器计算机106在该存储设备的集合上存储所收集的度量。在图1中示出的实施例中,存储系统108被划分为存储层1、存储层2和存储层3(被统称作“存储层”)。在实施例中,根据每个层的性能容量对存储层进行排名。例如,可根据访问速度对存储层进行排名。因此,存储层1可由快速且昂贵的存储设备组成以用于存储预期被经常访问的数据,存储层2可由用于不那么活动的数据的中等质量的存储设备组成,并且存储层3被由用于长期档案数据的缓慢且便宜的存储设备组成。例如,存储层1可包括具有快速硬驱动的RAID,存储层2可包括具有不那么贵且较慢的硬驱动的RAID,并且存储层3可表示磁带存储装置。此外或者可替换地,存储层可至少部分基于可用于对针对每个层内存储的数据的请求进行服务的设备的数目来进行排名。例如,存储层可由相同类型的设备组成,但更高层可拥有比更低层更多的设备,其能够并行工作以更快地访问数据。在一些实施例中,存储层具有相同的性能容量,但被用于存储依附于不同的标准集的度量数据。为了描述清楚示例,图1中示出的存储系统108拥有三个存储层。然而,存储系统108所包含的存储层的数目对于这里所述的技术并非关键。
3.0度量收集概述
图2示出了根据实施例用于度量收集的示例处理流程。为了描述清楚示例,图2中所示的处理流程将参考客户端100来进行描述。然而,同样的处理流程能够被任意客户端使用。
在图2中,客户端计算机100向度量收集器计算机104发送度量记录200,该度量记录200包含与先前发送至服务伺服器计算机105的请求相关的信息。度量记录200被度量标签200所标识并且包含一个或多个键/值对202。度量标签201标识了正被请求的度量的上下文并且键/值对202提供了度量的细节。在此情形中,度量记录200涉及从US的加利福利亚的PC发送的成功的激活请求。在图2中,度量收集器计算机104被假定在度量的收集中扮演主动的角色。然而,在度量收集器计算机104扮演被动角色的实施例中,度量收集器计算机104通过监控客户端和服务伺服器计算机105之间的通信而获得的度量能够被处理为与图2中所示的度量记录200基本相似格式的度量记录。
在实施例中,度量收集器计算机104周期性地发送收集到的度量至存储控制器计算机106。例如,度量收集器计算机104可每分钟、每小时、每天、每周等等发送数批收集到的度量。在其他实施例中,度量收集器计算机104响应于从客户端计算机100接收到每个度量记录200将记录转送至存储控制器计算机106。存储控制器计算机106基于存储策略将从度量收集器计算机104接收的度量记录200存储在存储系统108中。存储度量记录200的示例存储处理将在下面的“度量存储概述”部分进行更详细的描述。
在实施例中,度量收集器计算机104根据关系型数据库的原理将度量记录200存储在存储系统108中。在图2中,存储控制器计算机106将记录存储在与度量记录200的度量标签201相对应的请求表203中。例如,请求表203可包含与度量记录200的键/值对202中的键相对应的列。因此,存储控制器计算机106通过在请求表203中创建新的记录来输入度量记录200,其中放置到列中的值表示相应的键。在一些实施例中,存储控制器计算机106在将度量记录200输入到存储系统108时添加了诸如指示度量记录200何时被接收的时间戳之类的附加信息。可替换地,时间戳可由度量收集器计算机104在从客户端计算机100接收到度量记录200时添加到度量记录200中。作为另一替换例,客户端计算机100可向度量记录200添加指示了请求被发送的时间和/或从服务伺服器计算机105接收到对请求的响应的时间的时间戳。
在实施例中,度量客户端计算机107被配置为通过向存储控制器计算机106提交问询来对存储在存储系统108中的度量进行问询,该问询规定了度量标签201和针对请求表203的列的一个或多个谓项,该度量标签201与请求表203的名称相对应,该列与键/值对202的键相对应。作为响应,存储控制器计算机106通过标识出列值符合谓项的记录来执行针对存储系统108中所规定的表的问询。存储控制器计算机106将所标识出的记录返回发送给度量客户端计算机107。
在一些实施例中,客户端计算机100被配置为仅针对自从客户端计算机100上次向度量收集器计算机104报告度量起其值已经改变的键发送键/值对202。例如,客户端计算机100可初始向度量收集器计算机104发送包含所有键/值对202的度量记录200。然而,客户端计算机100接下来只在度量记录200中包括自从度量被上次报告起已经被修改的键/值对202。结果,客户端计算机100可发送度量记录200与键/值对202的精简集或者完全略去度量记录200的发送。随后,取决于实施例,度量收集器计算机104或存储控制器计算机106可使用从先前的时间段获得的值来填充缺失的键/值对或者生成度量记录200,以进入到存储系统108中。在一些实施例中,作为空间节省措施,存储控制器计算机106可被配置为将指示与收集到的度量值相关联的时间点的时间戳的集合存储为针对请求表203中每个记录的列。因此,度量保持不变的情况下,存储控制器计算机106向上面提到的列添加另一时间戳而非添加具有冗余信息的另一记录到请求表203。可替换地,存储控制器计算机106可使用不同的格式来存储时间戳的列表,例如规定起始时间戳、结束时间戳、报告时段的长度、和/或所收集到的度量保持相同的报告时段的数目。
尽管存储系统108在图2中被示出为存储关系型数据库的简表,单倍用于将度量记录200存储在存储系统108中的确切格式对于这里所述的技术而言并非关键性的。结果,其他实施例可使用另一存储格式,例如平面文件、面向对象的数据库、或者用于存储数据的任何其他格式。
4.0度量存储概述
图3示出了根据实施例在框图中的示例度量存储处理。为了描述清楚示例,假定图3中所示的处理将由存储控制器计算机106来执行。在其他实施例中,图3中所示的步骤可以不同的次序、划分为多个子步骤、或者归并到更小集的步骤中来执行。例如,尽管块303被示出为在块302之后,但在每个实施例中块303并不必要地响应于块302来被执行。
在图3中,在块300处,存储控制器计算机106接收一个或多个度量记录。在一些实施例中,存储控制器计算机106接收作为由度量收集器计算机104发出的报告的结果的一个或多个度量。然而,在其他实施例中,存储控制器计算机106可直接从客户端接收度量。
在块301处,存储控制器计算机106确定用存储系统108内的哪些存储层来存储一个或多个度量记录。在实施例中,存储控制器计算机106存储了策略数据,该策略数据固定了存储控制器计算机106在存储层1、存储层2、和存储层3之间维护数据的规则。因此,规则可规定与特定度量标签201有关或者其键/值对202符合特定标准的度量记录应当被存储在特定的存储层中。例如,带有指定“device=PC”的键/值对的度量记录可被初始地存储在存储层2中,而带有指定“device=mobile”的键/值对的度量记录可被初始地存储在存储层1中。在一些实施例中,存储控制器计算机106缺省地将每个度量记录存储在存储层1中。例如,存储控制器计算机106可被配置为将最近的度量记录保存在存储层1中并且随时间将较旧的度量记录迁移至更低的存储层。
在块302处,存储控制器计算机106将在块301处获得的一个或多个度量记录存储在它们各自的存储层处。在一些实施例中,存储控制器计算机106将每个记录存储在由所确定的存储层表示的存储设备中。例如,存储控制器计算机106可在一个存储层(例如,存储层1)中维护索引,或者维护本地索引,该本地索引标识了符合特定类型的标准的度量记录所位于的存储层。在一些实施例中,存储控制器计算机106可通过检查策略数据推导出特定类型的度量记录的存储层。
在块303处,存储控制器计算机106接收触发事件。在一些实施例中,触发事件是由开始存储系统108的维护的存储控制器计算机106周期性地生成的时间。在其他实施例中,触发时间可以是对存储控制器计算机106接收电子通信的响应。例如,存储控制器计算机106可被配置为将块300处度量记录的接收用作触发时间或者可经由存储控制器计算机106、度量客户端计算机107、或者外部管理计算机(未在图1中示出)的用户界面从管理者接收命令。在一些实施例中,存储控制器计算机106可被配置为将检测到特定存储层中存储设备故障或者存储设备将会下线的通知用作块303的触发事件。
在块304处,存储控制器计算机106基于策略数据执行维护操作。在一些实施例中,策略数据规定了在维护期间要被执行的一个或多个操作以及针对每个操作的标准集,该标准集规定了要经历操作的度量记录。例如,策略数据可规定与落入更新的时间段的时间戳相关联的度量记录应当被保存在当前的存储层中,而与较旧的时间段相关联的度量记录应当被降级一层。在实施例中,由策略数据规定的操作包括合并、聚合、丢弃、或保留。因此,存储控制器计算机106可使用与上文操作块301所述的标准相似的标准来确定将哪些操作应用于哪些度量记录。然而,在一些实施例中,存储控制器计算机106可使用不涉及度量记录中存储的数据类型的标准。在一些实施例中,存储控制器计算机106被配置为响应于设备故障已经发生或者存储了度量记录的特定存储设备将会下线的确定来对度量记录执行操作。例如,为了节省操作开销,一些企业将在高峰时间期间在某些存储层内运行比业余时间更多的存储设备。结果,当存储设备被下线时,那些存储设备内存储的度量记录当被传递到其他存储设备或存储层时可能需要被合并和/或聚合。
在实施例中,合并操作规定改变给定的存储层中度量记录被记录的颗粒度(granularity)。例如,存储层1可被配置为在一周的时段中以五分钟的颗粒度存储度量记录,之后较旧的度量记录被以一小时的颗粒度存储。当执行合并时,存储控制器计算机106标识出落入颗粒度的新时段的度量记录并且对这些记录进行合并。例如,由落入基于新颗粒度的时间窗口的度量记录表示的数据点能够通过计算那些度量记录的键/值对202的最小值、最大值、计数值、和总值以及使用那些值作为对要合并的时间窗口内的数据点的估计来进行归并。对于包含非数字值的键/值对202,可基于值的分布来计算上述统计。例如,时间窗口内表示的每个值的最小/最大百分比、每个值的计数、以及该时间窗口内发现的值的集合。
在实施例中,聚合操作规定了从针对度量记录所存储的键/值对202中丢弃一个或多个键。看待聚合操作的另一方式是数据维度的减少。例如,假定度量记录初始地被存储有以下键——客户端标识号、设备类型和延迟。策略数据可规定:对于超出确切地客户端做出贡献的特定年龄的度量记录,数据对于度量客户端计算机107的用户来说不再可能是重要的。结果,存储控制器计算机106移除作为符合标准的度量记录的键的客户端标识号并且将先前由该键区分的记录进行归并。在一些实施例中,存储控制器计算机将该键从所归并的度量记录中完全移除。然而,在其他实施例中,存储控制器计算机可以维护已经被移除的键的统计,例如与前面关联合并操作所述的已归并记录相似的最小值、最大值、计数值、和总值。
在实施例中,丢弃操作将符合规定标准的度量记录从特定存储层移除。在一些实施例中,存储控制器计算机106被配置为通过将规定的记录从当前的存储层中移除并且将所丢弃的记录移动至更低的存储层来回应丢弃操作。例如,策略可规定在过去两天内收集到的记录应当被存储在存储层1中,在过去的两周内收集到的记录应当被存储在存储层2中,并且较旧的记录应当被存储在存储层3中。结果,策略数据能够规定从存储层1中丢弃早于两天的数据,使得存储控制器计算机106将数据移动至存储层2,从而使得一旦记录过了两周标志,记录随后被传递到存储层3。然而,在其他实施例中,丢弃操作可规定用于经丢弃的数据的具体存储层,而非缺省地将数据移动至下一更低的存储层。在许多情形中,丢弃操作的标准将与合并操作或聚合操作相重叠。例如,在执行聚合或合并以创建新的经归并的数据点之后,存储控制器计算机106随后将与旧的数据点相对应的度量记录移除至另一存储层。结果,经归并的数据保留在更快的存储层上可用并且较旧的数据能够在较低的存储层中被高效地维护同时仍然可用于访问。
在实施例中,保存操作规定将度量记录保存在给定的存储层中。在存储控制器计算机106可被配置为除非有明确的丢弃操作否则缺省地将度量记录保存在同一存储层中的同时,保存操作允许对丢弃操作实现的例外。例如,与某些重要日期(例如,假日、重大的体育赛事、新品发布等等)有关的度量记录可表示对于度量客户端计算机107的用户重要的度量,而不论年龄或其他标准。结果,保存操作针对所规定的度量记录覆盖丢弃操作。因此,作为一般策略,早于两周的度量记录可被移动至更低的存储层,但有这样的例外:感恩节上的数据将被在当前的存储层上进行维护。在一些实施例中,保存操作规定了符合标准的度量记录应当被保存的特定存储层。结果,在维护操作的执行期间,如果由保存操作引用的数据居留于不同的存储层上,存储控制器计算机106将度量记录移动至于保存操作相关联的存储层上。
在一些实施例中,存储控制器计算机106被配置为从度量客户端计算机107接收指令以改变策略数据中规定的规则。例如,度量客户端计算机107可提供允许用户更新在存储控制器计算机106的策略数据中规定的规则的图形用户界面。在一些实施例中,存储控制器计算机106被配置为使用策略数据的更新作为块303的触发事件。例如,存储控制器计算机106的用户可决定在特定的时间段期间收集到的度量记录在与该日期相关联的度量记录自从被移动至层3档案存储起已经很久之后仍是重要的。结果,对策略数据的改变可规定针对上述度量记录的保存操作,该保存操作规定将那些记录保存在存储层1中。作为响应,存储控制器计算机106执行包括标识规定的时间段内的记录并且将那些记录移动至存储层1中在内的操作。
5.0适应性警告阈值概述
图4根据实施例以框图形式图示了使用适应性警告阈值的过程。为了清楚地图示示例的目的,将假设该过程是由度量收集器计算机104执行的。然而,在其他实施例中,图4中所描绘的过程可以由诸如存储控制器计算机106之类的任何组件执行。在其他实施例中,图4中所描绘的过程可以由多个不同组件分部执行。例如,存储控制器计算机106可以讲度量从存储系统108供应给度量收集器计算机104以供在判定是否应当生成警告时使用。此外,根据本实施例,图4中所描绘的实施例可以按不用顺序执行、被分割成多个子步骤、或者归并为更少的一组步骤。
在图4中,在框400,度量收集器计算机104收集一个或多个时间段内的度量值,这些度量值与客户端和服务伺服器计算机105之间的通信有关。度量收集器计算机104在框400所收集的度量表示经监测以判定是否应当生成警告的度量(此后称作“警告度量”)。在一些实施例中,在框400所监测的警告度量被选择作为操作环境中的一个或多个组件(比如,服务伺服器计算机105)的活动或健康的表征。因此,警告度量值显著偏离先前记录的值将可能指示应当向管理员发出警告的操作问题。例如,度量收集器计算机104可以收集一个或多个时间段内的度量,比如,客户端和服务伺服器计算机105之间的平均延时、成功执行的请求和未成功执行的请求的比率、请求的总数、客户端的地理区域的分布等。然而,对本文所述的技术而言度量收集器计算机104所监测的精确度量并不是关键所在。此外,在一些实施例中,度量收集器计算机104可以基于多个度量发出警告,或者可以基于不同度量维护多个单独的警告。
在一些实施例中,度量收集器计算机104存储配置数据,这些配置数据指示何时应当生成警告的规则。例如,配置数据可以表明该警告度量的一个或多个阈值、用于基于先前记录的值预测警告度量值的数学函数、乃至正在针对该警告进行监测的度量的类型。因此,在收集器计算机104周期性地向存储控制器计算机106发送度量以存储在存储系统108中的实施例中,框400可以被度量收集器计算机104从存储控制器计算机106查询配置数据中所指定的度量值的步骤所取代。因此,通过更新配置数据来改变度量收集器计算机104即时(on the fly)生成警告的规则是可能的,这提供了灵活性而不必穷尽性地在度量收集器计算机104上存储每一类型的度量。
在框401,度量收集器计算机104接收警告度量的一个或多个新的度量值。在一些实施例中,作为周期性报告的结果,度量收集器计算机104从客户端接收一个或多个新的度量值。在图2中描绘并在上面的度量收集概述中讨论了能够用于此目的的报告过程的示例。例如,在框400收集的度量值可以表示先前的报告时段,其间度量值是从客户端收集而来的,在框401收集的新的度量值可以表示在当前报告时段内收集的(一个或多个)度量值。在一些实施例中,度量从客户端到度量收集器计算机104的报告是异步的。因此,在框400先前收集的度量值可以表示单独的数据点而不是先前的周期或时间间隔。下面的示例将使用“时间段”或“报告时段”,但是这些技术等价地适用于两类实施例。
在框402,度量收集器计算机104基于先前在框400收集的度量值生成预测值。在实施例中,度量收集器计算机104将在先前一个或多个时间段内收集的度量值看作时间序列并采用预测数学函数来生成当前时间段的预测值。例如,度量收集器计算机104可以采用双指数平滑、指数加权平均法或任何其他类型的回归分析技术。对本文所述的技术而言用于生成当前报告时段的预测值的精确函数并不是关键所在。
在框403,度量收集器计算机104判定在框401接收到的一个或多个新的度量值是否落入偏离在框402预测的值的阈值范围。在一些实施例中,度量收集器计算机104维护警告度量的静态阈值,比如,偏离10%、偏离20%、偏离50%等。在其他实施例中,阈值可以是动态的。例如,度量收集器计算机104可以被配置为当在框400收集到的度量值具有高的噪声级时使用较高百分比而在噪声级为低时使用较低百分比。在一个或多个新的度量值未落入预测值的指定阈值范围的情况下,度量收集器计算机104进行到框405。在一些实施例中,除基于预测值的阈值外,度量收集器计算机104还使用警告度量的绝对阈值,以便捕捉到度量缓慢偏离到无法接受的边界之外的情形。例如,如果客户端和服务伺服器计算机105之间的延时变得大于特定值,则即使警告度量在预测值的可接受的约束范围之内度量收集器计算机104仍可生成警告。
在框404,度量收集器计算机104生成警告。在一些实施例中,度量收集器计算机104通过通知管理员或其他感兴趣的不同方来生成警告。例如,度量收集器计算机104可以向管理员所持有的账户发送电子邮件、即时消息、推特或任何其他类型的电子通信。在一些实施例中,通信包括对警告度量的描述、预测值、当前报告时段的值和在框400收集的度量的表征。例如,度量收集器计算机104向管理员的账户发送诸如HTML文档之类的文档,当该文档由管理员的计算机的应用进行呈现时显示下述项:将先前收集的值和当前值示作一个或多个时间段内的数据点的图表,和图示了在框403应用于该图表的数据点的回归诉求(sued)的线。从而,目测到警告度量对当前值和预测值的偏离变得明显。在其他实施例中,数据可以被表示为其他形式,比如,平面文件或表。
在框405,度量收集器计算机104将在框401接收到的一个或多个度量值加到在框400收集到的度量值上。从而,集合包括直到当前报告时段(包括当前报告时段本身)的度量值。在一些实施例中,度量收集器计算机104可以对包括在集合中的报告时段的设置限制。例如,度量收集器计算机104可以移除从超出特定时间限制或集合中所表示的特定数目的报告时段之外的周期收集到的度量值。度量收集器计算机104随后等待直到在框401接收到针对下一报告时段的新的度量值,并重复判定是否应当发出警告的过程。在度量收集器计算机104在框400向存储控制器计算机106查询度量的示例中,度量收集器计算机104可以通过仅查询针对在指定限制内的时间段的度量值来施加限制。另外,在框405进行的度量值的加和可以在先前在度量收集概述中所描述的将度量记录的周期性批量发送到存储控制器计算机106的过程中执行。
6.0实现机制-硬件概述
根据一个实施例,本文所述的技术是通过一个或多个专用计算设备实现的。专用计算设备可以被硬连线以执行这些技术,或者可以包括被持续地编程以执行这些技术的数字电子设备(比如,一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或者可以包括被编程以依照固件、存储器、其他存储装置或其组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这样的专用计算设备还可以将定制硬连线逻辑、ASIC或FPGA与定制编程相组合以完成这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备或包含硬连线和/或程序逻辑以实现这些技术的任何其他设备。
例如,图5是图示了计算机系统500的框图,本发明的实施例可以在计算机系统500上实现。计算机系统500包括用于传送信息的总线502或其他通信机制和与总线502耦合以处理信息的硬件处理器504。硬件处理器504例如可以是通用微处理器。
计算机系统500还包括耦合到总线502以存储由处理器504执行的信息和指令的主存储器506,比如,随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储将在指令执行过程中由处理器504执行暂态变量或其他中间信息。这样的信息当被存储在处理器504可访问的非暂态存储介质中时,使得计算机系统500呈现为被定制以执行指令中所指定的操作的专用机。
计算机系统500还包括耦合到总线502以存储用于处理器504的静态信息和指令的只读存储器(ROM)508或其他静态存储设备。诸如磁盘或光盘之类的存储设备510被配设被耦合到总线502以存储信息和指令。
计算机系统500可以经由总线502耦合到显示器512(比如,阴极射线管(CRT))以向计算机用户显示信息。包括字母数字键或其他键的输入设备514被耦合到总线502以向处理器504传送信息和命令选择。另一类型的用户输入设备是用于向处理器504传送方向信息和命令选择和用于控制光标在显示器512上的移动的光标控制516,比如,鼠标、轨迹球或光标方向键。输入设备通常具有在允许设备指定平面中的位置的两个轴(第一轴(例如,x)和第二轴(例如,y))上的两个自由度。
计算机系统500可以使用定制硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑实现本文所述的技术,这些定制硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统相组合使得计算机系统500成为或者将计算机系统500编程为专用机。根据一个实施例,响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列,计算机系统500执行本文的技术。这样的指令可以从诸如存储设备510的另一存储介质读入主存储器506。对包含于主存储器506中的指令的序列执行使得处理器504执行本文所述的处理步骤。在替代的实施例中,硬连线电路可以用于取代软件指令或者与软件指令相结合。
本文所使用的术语“存储介质”指的是存储使得机器以特有的方式运行的数据和/或指令的非暂态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质例如包括光盘或磁盘,比如,存储设备510。易失性介质包括动态存储器,比如,主存储器506。存储介质的常见形式例如包括软盘、软磁盘、硬盘、固态驱动、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何具有孔状图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、NVRAM、任何其他存储器芯片或磁片盒。
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与在存储介质之间传递信息。例如,传输介质包括同轴线缆、铜线和光纤,包括含有总线502的线。传输介质还能够采取声波或光波的形式,比如,在在无线电波或红外数据通信过程中作生成的那些。
在将一个或多个指令的一个或多个序列运载到处理器504以执行的过程中可能牵涉到各种形式的介质。例如,指令最初可以由远程计算机的磁盘或固态驱动来承载。远程计算机能够将这些指令加载到它的动态存储器中并使用调制解调器经由电话线发送这些指令。计算机系统500的本地调制解调器能够接收电话线上的数据并使用红外发送器将数据转换为红外信号。红外检测器能够接收红外信号中所承载的数据并且恰当的电路能够将数据放置在总线502上。总线502将数据运载到主存储器506,处理器504从主存储器506中检索并执行这些指令。主存储器506所接收到的指令可以可选地在由处理器504执行之前或之后被存储在存储设备510上。
计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520双路数据通信,网络链路520被连接到本地网络522。例如,通信接518可以是向相应类型的电话线提供数据通信连接的集成服务数字网络(ISDN)卡、线缆调制解调器、卫星调制解调器或调制解调器。如另一示例,通信接518可以是向兼容LAN提供数据通信连接的局域网(LAN)卡。在任何这样的实现方式中,通信接518发送并接收电、电磁或光信号,这些信号承载表示各种类型的信息的数据流。
网络链路520通常通过一个或多个到其他数据设备的网络提供数据通信。例如,网络链路520可以通过本地网络522提供到主计算机524或者到由互联网服务提供商(ISP)526操作的数据装备的连接。ISP 526继而通过全球分组数据通信网络(现在通常称作“互联网”)528提供数据通信服务。本地网络522和互联网528都使用承载有电子数据流的电、电磁或光信号。通过各种网络的信号以及网络链路520上的和通过通信接口518的信号是传输介质的示例形式,这些信号将电子数据运到计算机系统500并从计算机系统500运出电子数据。
计算机系统500能够通过(一个或多个)网络、网络链路520及通信接口518发送消息和接收数据(包括程序代码)。在互联网示例中,伺服器530可以通过互联网528、ISP 526、本地网络522及通信接518发送所请求的应用程序的代码。
接收到的代码当被接收和/或存储在存储设备510或其他非易失性存储装置中以供之后执行时可有处理器504执行。
在以上说明书中,已经参照无数具体细节描述了本发明的实施例,不同实现方式中的这些具体细节可能不同。说明书和附图被相应地视作示意性的而不是限制意义上的。本发明的范围独有和专属的指示(申请人所意图的本发明的范围)是本申请所公布的一组权利要求(按照这些权利要求公布的具体形式)的文字和等同范围,包括任何后续修改。
7.0扩展和替换
本公开还涵盖了以下编号条款的主题:
1.一种计算机实现的方法,包括:度量收集器计算机存储在一个或多个先前时间段内基于从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的先前收集的度量值;该度量收集器计算机,在当前时间段,接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;该度量收集器计算机对先前收集的度量值执行回归分析以确定当前时间段的预测度量值;响应于确定预测度量值和新度量值之间的偏离大于指定阈值,该度量收集器计算机生成警告。
2.如条款1所述的方法,其中,这些收集的度量值是基于下述各项中的一项或多项的:延时、丢弃连接、请求完成时间、请求的数目、成功率或先前请求的地理分布。
3.如条款1所述的方法,其中,该度量收集器计算机基于双指数平滑算法对先前收集的度量值执行回归分析。
4.如条款1所述的方法,其中,该指定阈值是基于预测度量值和新度量值之间的百分比差值的。
5.如条款1所述的方法,其中,生成警告包括向特定账户或计算设备发送电子通信。
6.一种计算机实现的方法,包括:度量收集器计算机从客户端计算机接收与从该客户端计算机发送到服务计算机的请求有关的第一度量记录,其中,该第一度量记录包括度量标签和多个键-值对;该度量收集器计算机使得第一度量记录被存储在度量数据库中,度量数据库包含针对发送到服务伺服器计算机的请求的多个度量记录;该度量收集器计算机在接收到第一度量记录之后的时间段从该客户端计算机接收第二度量记录,其中,该第二度量记录包括度量标签和所述多个键-值对中的值在该时间段内发生改变的一个或多个键-值对,而不包括所述多个键-值对中的值在该时间段内未发生改变的一个或多个键-值对;该度量收集器计算机通过至少自动地基于度量数据库中所存储的第一度量记录填充所述多个键-值对中的值在该时间段内未发生改变的一个或多个键-值对使得该第二度量记录被存储度量数据库中。
7.如条款6所述的方法,其中,多个键值对与以下各项中的任何一项或多项有关:用户标识码、设备标识码、地理区域、延时、带宽、请求成功或失败、完成请求的时间、设备类型、时间戳或请求的类型。
8.如条款6所述的方法,其中,该度量收集器计算机使得第一度量记录和第二度量记录被存储度量数据库中包括:将所收集到的度量记录周期性地发送到存储控制器计算机,以进入度量数据库作为条目(entry),所收集到的度量记录包括第一度量记录和第二度量记录。
9.如条款8所述的方法,还包括:存储控制器计算机从度量客户端计算机接收对特定度量记录的查询,这些特定度量记录包括满足一个或多个特定标准的一个或多个键值对;标识这些特定度量记录;以及将这些特定度量记录发送到度量客户端计算机。
10.如条款6所述的方法,其中,度量数据库代表一个或多个相关数据库、平面文件数据库或基于对象的数据库。
11.一种计算机实现的方法,包括:存储控制器计算机将多个度量记录存储在存储系统中,该存储系统包括多个存储层,其中,这些存储层从最高到最低排列;响应于触发事件,该存储控制器计算机基于策略数据对存储在多个存储层中的特定存储层中的多个度量记录中的一个或多个度量记录执行聚合操作或合并操作,其中策略数据指定一组操作,并且针对该组操作中的每个操作指定针对度量记录的一个或多个标准,根据这些标准执行操作;存储控制器计算机从特定存储层中移除一个或多个度量记录,并将该一个或多个度量记录存储在多个存储层中的较低存储层上。
12.如条款11所述的方法,其中,多个存储层中的每个存储层包括不同类型的存储设备、不同数目的存储设备、或不同类型的存储设备和不同数目的存储设备的组合。
13.如条款11所述的方法,其中,对一个或多个度量记录执行聚合操作或合并操作使得基于归并一个或多个度量记录的一个或多个新度量记录被存储在存储系统的特定存储层中。
14.如条款11所述的方法,其中,触发事件是以下各项中的一项或多项:指定时间段逝去、存储系统的一个或多个存储设备下线、接收到对策略数据的更新、或接收到要插入到存储系统中的度量记录。
15.如条款11所述的方法,还包括:从度量客户端计算机接收更新策略数据的指令,其中,更新指定保留满足指定存储层中的特定标准的度量记录;响应于从度量客户端计算机接收到更新策略数据的指令,存储控制器计算机标识存储系统中满足特定标准并且不再指定存储层中的度量记录并将指定记录移动到指定存储层。
16.如条款11所述的方法,其中,策略数据指定一个或多个聚合操作、一个或多个合并操作、一个或多个丢弃操作、以及一个或多个保存操作。
17.如条款11所述的方法,其中,存储控制器计算机是基于策略数据所指定的丢弃操作从特定存储层移除一个或多个度量的。
18.如条款17所述的方法,其中,策略数据指定保存操作,该保存操作包括用于即使特定存储层中的特定标准记录符合丢弃操作的标准仍保留这些度量记录的标准。
19.如条款11所述的方法,其中,合并操作归并一个或多个度量记录中落入特定时间段内的度量记录。
20.如条款11所述的方法,其中,聚合操作基于移除度量记录的键归并一个或多个度量记录的度量记录。
21.一种存储有一个或多个指令的非暂态计算机可读介质,当所述一个或多个指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤,包括:度量收集器计算机存储在一个或多个先前时间段内基于从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的先前收集的度量值;该度量收集器计算机,在当前时间段,接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;该度量收集器计算机对先前收集的度量值执行回归分析以确定当前时间段的预测度量值;响应于确定预测度量值和新度量值之间的偏离大于指定阈值,该度量收集器计算机生成警告。
22.如条款20所述的非暂态计算机可读介质,其中,这些收集的度量值是基于下述各项中的一项或多项的:延时、丢弃连接、请求完成时间、请求的数目、成功率或先前请求的地理分布。
23.如条款21所述的非暂态计算机可读介质,其中,该度量收集器计算机基于双指数平滑算法对先前收集的度量值执行回归分析
24.如条款21所述的非暂态计算机可读介质,其中,该指定阈值是基于预测度量值和新度量值之间的百分比差值的。
25.如条款21所述的非暂态计算机可读介质,其中,生成警告包括向特定账户或计算设备发送电子通信。
26.一种存储有一个或多个指令的非暂态计算机可读介质,当所述一个或多个指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤,包括:度量收集器计算机从客户端计算机接收与从该客户端计算机发送到服务计算机的请求有关的第一度量记录,其中,该第一度量记录包括度量标签和多个键-值对;该度量收集器计算机使得第一度量记录被存储在度量数据库中,度量数据库包含针对发送到服务伺服器计算机的请求的多个度量记录;该度量收集器计算机在接收到第一度量记录之后的时间段从该客户端计算机接收第二度量记录,其中,该第二度量记录包括度量标签和所述多个键-值对中的值在该时间段内发生改变的一个或多个键-值对而不包括所述多个键-值对中的值在该时间段内未发生改变的一个或多个键-值对;该度量收集器计算机通过至少自动地基于度量数据库中所存储的第一度量记录填充所述多个键-值对中的值在该时间段内未发生改变的一个或多个键-值对使得该第二度量记录被存储度量数据库中。
27.如条款26所述的非暂态计算机可读介质,其中,多个键值对与以下各项中的任何一项或多项有关:用户标识码、设备标识码、地理区域、延时、带宽、请求成功或失败、完成请求的时间、设备类型、时间戳或请求的类型。
28.如条款26所述的非暂态计算机可读介质,其中,该度量收集器计算机使得第一度量记录和第二度量记录被存储度量数据库中包括:将所收集到的度量记录周期性地发送到存储控制器计算机,以进入度量数据库作为条目,所收集到的度量记录包括第一度量记录和第二度量记录。
29.如条款26所述的非暂态计算机可读介质,其中,步骤还包括:存储控制器计算机从度量客户端计算机接收对特定度量记录的查询,这些特定度量记录包括满足一个或多个特定标准的一个或多个键值对;标识这些特定度量记录;以及将这些特定度量记录发送到度量客户端计算机。
30.如条款26所述的非暂态计算机可读介质,其中,度量数据库代表一个或多个相关数据库、平面文件数据库或基于对象的数据库。
31.一种存储有一个或多个指令的非暂态计算机可读介质,当所述一个或多个指令被一个或多个处理器执行时,使得一个或多个处理器执行以下步骤,包括:存储控制器计算机将多个度量记录存储在存储系统中,该存储系统包括多个存储层,其中,这些存储层从最高到最低排列;响应于触发事件,该存储控制器计算机基于策略数据对存储在多个存储层中的特定存储层中的多个度量记录中的一个或多个度量记录执行聚合操作或合并操作,其中策略数据指定一组操作,并且针对该组操作中的每个操作指定针对度量记录的一个或多个标准,根据这些标准执行操作;存储控制器计算机从特定存储层中移除一个或多个度量记录,并将该一个或多个度量记录存储在多个存储层中的较低存储层上。
32.如条款31所述的非暂态计算机可读介质,其中,多个存储层中的每个存储层包括不同类型的存储设备、不同数目的存储设备、或不同类型的存储设备和不同数目的存储设备的组合。
33.如条款31所述的非暂态计算机可读介质,其中,对一个或多个度量记录执行聚合操作或合并操作使得基于归并一个或多个度量记录的一个或多个新度量记录被存储在存储系统的特定存储层中。
34.如条款31所述的非暂态计算机可读介质,其中,触发事件是以下各项中的一项或多项:指定时间段逝去、存储系统的一个或多个存储设备下线、接收到对策略数据的更新、或接收到要插入到存储系统中的度量记录。
35.如条款31所述的非暂态计算机可读介质,其中,步骤还包括:从度量客户端计算机接收更新策略数据的指令,其中,更新指定保留满足指定存储层中的特定标准的度量记录;响应于从度量客户端计算机接收到更新策略数据的指令,存储控制器计算机标识存储系统中满足特定标准并且不再指定存储层中的度量记录并将指定记录移动到指定存储层。
36.如条款31所述的非暂态计算机可读介质,其中,策略数据指定一个或多个聚合操作、一个或多个合并操作、一个或多个丢弃操作、以及一个或多个保存操作。
37.如条款31所述的非暂态计算机可读介质,其中,存储控制器计算机是基于策略数据所指定的丢弃操作从特定存储层移除一个或多个度量的。
38.如条款37所述的非暂态计算机可读介质,其中,策略数据指定保存操作,该保存操作包括用于即使特定存储层中的特定标准记录符合丢弃操作的标准仍保留这些度量记录的标准。
39.如条款31所述的非暂态计算机可读介质,其中,合并操作归并一个或多个度量记录中落入特定时间段内的度量记录。
40.如条款31所述的非暂态计算机可读介质,其中,聚合操作基于移除度量记录的键归并一个或多个度量记录的度量记录。
在以上说明书中,已经参照无数具体细节描述了本发明的实施例,不同实现方式中的这些具体细节可能不同。因此,本发明的范围独有和专属的指示(申请人所意图的本发明的范围)是本申请所公布的一组权利要求(按照这些权利要求公布的具体形式),包括任何后续修改。本文表述性地阐明的包含于这样的权利要求中的术语的定义决定这些权利要求中所使用的这样的意义。从而,未表述性地记载在权利要求中的限制、元素、性质、特征、优点或属性都不应当以任何方式限制这样的权利要求的范围。本说明书和附图相应地应当被视作说明性的而不是限制意义上的。

Claims (15)

1.一种计算机实现的方法,包括:
由度量收集器计算机存储先前收集的度量值,所述先前收集的度量值是基于一个或多个先前时间段内从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的;
由所述度量收集器计算机存储配置数据,其中,所述配置数据指示生成警告的规则;
由所述度量收集器计算机在当前时间段接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;
由所述度量收集器计算机对所述先前收集的度量值执行回归分析以确定所述当前时间段的预测度量值;
响应于确定所述预测度量值和所述新度量值之间的偏离大于指定阈值,由所述度量收集器计算机生成警告;并且
除了所述指定阈值之外,针对所述警告还使用绝对阈值,其中,所述指定阈值基于所述预测度量值,并且所述绝对阈值是基于系统约束的静态阈值。
2.如权利要求1所述的方法,其中,所述收集的度量值是基于下述各项中的一项或多项的:延时、丢弃连接、请求完成时间、请求的数目、成功率、或先前请求的地理分布。
3.如权利要求1所述的方法,其中,所述度量收集器计算机基于双指数平滑算法对所述先前收集的度量值执行回归分析。
4.如权利要求1所述的方法,其中,所述指定阈值是基于所述预测度量值和所述新度量值之间的百分比差值的。
5.如权利要求1所述的方法,其中,生成所述警告包括:向特定账户或计算设备发送电子通信。
6.一种存储有一个或多个指令的非暂态计算机可读介质,当所述一个或多个指令被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤,包括:
由度量收集器计算机存储先前收集的度量值,所述先前收集的度量值是基于一个或多个先前时间段内从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的;
由所述度量收集器计算机存储配置数据,其中,所述配置数据指示生成警告的规则;
由所述度量收集器计算机在当前时间段接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;
由所述度量收集器计算机对所述先前收集的度量值执行回归分析以确定所述当前时间段的预测度量值;
响应于确定所述预测度量值和所述新度量值之间的偏离大于指定阈值,由所述度量收集器计算机生成警告;并且
除了所述指定阈值之外,针对所述警告还使用绝对阈值,其中,所述指定阈值基于所述预测度量值,并且所述绝对阈值是基于系统约束的静态阈值。
7.如权利要求6所述的非暂态计算机可读介质,其中,所述收集的度量值是基于下述各项中的一项或多项的:延时、丢弃连接、请求完成时间、请求的数目、成功率、或先前请求的地理分布。
8.如权利要求6所述的非暂态计算机可读介质,其中,所述度量收集器计算机基于双指数平滑算法对所述先前收集的度量值执行回归分析。
9.如权利要求6所述的非暂态计算机可读介质,其中,所述指定阈值是基于所述预测度量值和所述新度量值之间的百分比差值的。
10.如权利要求6所述的非暂态计算机可读介质,其中,生成所述警告包括:向特定账户或计算设备发送电子通信。
11.一种用于度量收集和分析的系统,所述系统包括具有存储器、处理器、由处理器执行的过程的度量收集器计算机,所述度量收集器计算机被配置为执行以下操作:
存储先前收集的度量值,所述先前收集的度量值是基于一个或多个先前时间段内从一个或多个客户端计算机发送到服务伺服器计算机的先前请求的;
存储配置数据,其中,所述配置数据指示生成警告的规则;
在当前时间段接收基于从特定客户端计算机发送到服务伺服器计算机的请求的新度量值;
对所述先前收集的度量值执行回归分析以确定所述当前时间段的预测度量值;
响应于确定所述预测度量值和所述新度量值之间的偏离大于指定阈值,生成警告;并且
除了所述指定阈值之外,针对所述警告还使用绝对阈值,其中,所述指定阈值基于所述预测度量值,并且所述绝对阈值是基于系统约束的静态阈值。
12.如权利要求11所述的系统,其中,所述收集的度量值是基于下述各项中的一项或多项的:延时、丢弃连接、请求完成时间、请求的数目、成功率、或先前请求的地理分布。
13.如权利要求11所述的系统,其中,所述度量收集器计算机基于双指数平滑算法对所述先前收集的度量值执行回归分析。
14.如权利要求11所述的系统,其中,所述指定阈值是基于所述预测度量值和所述新度量值之间的百分比差值的。
15.如权利要求11所述的系统,其中,生成所述警告包括:向特定账户或计算设备发送电子通信。
CN201410639822.4A 2013-11-13 2014-11-13 适应性度量收集、存储、和警告阈值 Active CN104731690B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/079,483 2013-11-13
US14/079,483 US9584395B1 (en) 2013-11-13 2013-11-13 Adaptive metric collection, storage, and alert thresholds

Publications (2)

Publication Number Publication Date
CN104731690A CN104731690A (zh) 2015-06-24
CN104731690B true CN104731690B (zh) 2019-10-15

Family

ID=51951603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410639822.4A Active CN104731690B (zh) 2013-11-13 2014-11-13 适应性度量收集、存储、和警告阈值

Country Status (4)

Country Link
US (3) US9584395B1 (zh)
EP (1) EP2874064B1 (zh)
CN (1) CN104731690B (zh)
DK (1) DK2874064T3 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067955B1 (en) * 2014-12-08 2018-09-04 Conviva Inc. Custom video metrics management platform
US10127234B1 (en) 2015-03-27 2018-11-13 Amazon Technologies, Inc. Proactive optimizations at multi-tier file systems
US10606627B2 (en) 2016-02-12 2020-03-31 Nutanix, Inc. Alerts analysis for a virtualization environment
US10657146B2 (en) 2016-09-26 2020-05-19 Splunk Inc. Techniques for generating structured metrics from ingested events
US10235263B2 (en) 2017-01-04 2019-03-19 International Business Machines Corporation Optimizing adaptive monitoring in resource constrained environments
US10555142B2 (en) 2017-09-08 2020-02-04 International Business Machines Corporation Adaptive multi-tenant monitoring in resource constrained environments
CN108540340B (zh) * 2018-03-15 2021-05-07 上海携程商务有限公司 基于网站应用错误数的异常检测方法及系统
US10742534B2 (en) 2018-05-25 2020-08-11 International Business Machines Corporation Monitoring system for metric data
US11025657B2 (en) * 2018-12-13 2021-06-01 Imperva, Inc. Selective database logging with smart sampling
US11265235B2 (en) * 2019-03-29 2022-03-01 Intel Corporation Technologies for capturing processing resource metrics as a function of time
CA3159420A1 (en) * 2019-09-12 2021-03-18 Farmbot Holdings Pty Ltd System and method for data filtering and transmission management
US11258684B2 (en) * 2020-01-09 2022-02-22 Arista Networks, Inc. Interval flow-based inband telemetry
US11550487B2 (en) * 2020-12-17 2023-01-10 Western Digital Technologies, Inc. Data storage device and method for enabling endurance re-evaluation
US20230067420A1 (en) * 2021-08-24 2023-03-02 Lyft, Inc. Intelligently generating and deploying a metric blocklist within a distributed computing system to efficiently manage data metric requests
US11606432B1 (en) * 2022-02-15 2023-03-14 Accenture Global Solutions Limited Cloud distributed hybrid data storage and normalization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853197A (zh) * 2009-03-31 2010-10-06 国际商业机器公司 确定服务器负载能力
CN102369731A (zh) * 2009-01-15 2012-03-07 高通股份有限公司 基于视频译码中的活动度量的滤波预测
CN103178990A (zh) * 2011-12-20 2013-06-26 中国移动通信集团青海有限公司 一种网络设备性能监控方法及网络管理系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043727B2 (en) * 2001-06-08 2006-05-09 Micromuse Ltd. Method and system for efficient distribution of network event data
US7509414B2 (en) * 2004-10-29 2009-03-24 International Business Machines Corporation System and method for collection, aggregation, and composition of metrics
US7509308B2 (en) * 2006-01-09 2009-03-24 International Business Machines Corporation Method, apparatus and system for business performance monitoring and analysis using metric network
JP5179495B2 (ja) * 2006-07-31 2013-04-10 アダプティブ スペクトラム アンド シグナル アラインメント インコーポレイテッド デジタル加入者線における雑音を分析しかつ低減する方法及び装置
US7621445B2 (en) * 2006-09-12 2009-11-24 International Business Machines Corporation Method and apparatus for access to health data with portable media
US8655623B2 (en) * 2007-02-13 2014-02-18 International Business Machines Corporation Diagnostic system and method
US8117146B2 (en) * 2008-02-20 2012-02-14 Oracle International Corporation Computing the values of configuration parameters for optimal performance of associated applications
US7797415B2 (en) 2008-04-29 2010-09-14 Computer Associates Think, Inc. Automatic context-based baselining for transactions
US8903757B2 (en) 2008-12-12 2014-12-02 Appnomic Systems Private Limited Proactive information technology infrastructure management
JP5093089B2 (ja) * 2008-12-25 2012-12-05 富士通株式会社 ネットワーク設計装置およびネットワーク設計方法
US8171134B2 (en) * 2009-03-18 2012-05-01 At&T Intellectual Property I, L.P. Methods and apparatus to characterize and predict network health status
US9031914B2 (en) * 2009-04-22 2015-05-12 International Business Machines Corporation Tier-based data management
WO2010147622A2 (en) * 2009-06-15 2010-12-23 Synapsense Corporation Apparatus and method for ambient noise adaptation in wireless sensor networks
US20110119100A1 (en) * 2009-10-20 2011-05-19 Jan Matthias Ruhl Method and System for Displaying Anomalies in Time Series Data
US8583584B2 (en) * 2009-10-20 2013-11-12 Google Inc. Method and system for using web analytics data for detecting anomalies
US8627004B2 (en) * 2010-01-07 2014-01-07 International Business Machines Corporation Extent migration for tiered storage architecture
US8639791B2 (en) * 2010-05-20 2014-01-28 Novell, Inc. Techniques for evaluating and managing cloud networks
US9003157B1 (en) * 2010-06-30 2015-04-07 Emc Corporation Techniques for dynamic data storage configuration in accordance with an allocation policy
US10032176B2 (en) * 2010-08-20 2018-07-24 Blue Kai, Inc. Real time statistics extraction from arbitrary advertising audiences
US20120110259A1 (en) * 2010-10-27 2012-05-03 Enmotus Inc. Tiered data storage system with data management and method of operation thereof
US8429187B2 (en) * 2011-03-21 2013-04-23 Amazon Technologies, Inc. Method and system for dynamically tagging metrics data
US8745014B2 (en) * 2011-10-19 2014-06-03 Pivotal Software, Inc. Time series data mapping into a key-value database
US8705639B2 (en) * 2011-10-19 2014-04-22 Comcast Cable Communications, Llc Signal monitoring platform
US8447851B1 (en) * 2011-11-10 2013-05-21 CopperEgg Corporation System for monitoring elastic cloud-based computing systems as a service
US8719196B2 (en) 2011-12-19 2014-05-06 Go Daddy Operating Company, LLC Methods for monitoring computer resources using a first and second matrix, and a feature relationship tree
US9027141B2 (en) * 2012-04-12 2015-05-05 Netflix, Inc. Method and system for improving security and reliability in a networked application environment
US8918586B1 (en) * 2012-09-28 2014-12-23 Emc Corporation Policy-based storage of object fragments in a multi-tiered storage system
US8612402B1 (en) * 2012-10-26 2013-12-17 Stec, Inc. Systems and methods for managing key-value stores
US20140281322A1 (en) * 2013-03-15 2014-09-18 Silicon Graphics International Corp. Temporal Hierarchical Tiered Data Storage
US9817864B1 (en) * 2013-06-13 2017-11-14 Amazon Technologies, Inc. Flexible pivot querying of monitoring data with zero setup
US9256657B1 (en) * 2013-06-13 2016-02-09 Amazon Technologies, Inc. Tracking data communicated between services
DE102017222616A1 (de) * 2017-12-13 2019-06-13 Robert Bosch Gmbh Verfahren zum automatisierten Erstellen von Regeln für eine regelbasierte Anomalieerkennung in einem Datenstrom
US10488099B2 (en) * 2018-02-22 2019-11-26 Schneider Electric USA, Inc. Frost detection in HVACandR systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369731A (zh) * 2009-01-15 2012-03-07 高通股份有限公司 基于视频译码中的活动度量的滤波预测
CN101853197A (zh) * 2009-03-31 2010-10-06 国际商业机器公司 确定服务器负载能力
CN103178990A (zh) * 2011-12-20 2013-06-26 中国移动通信集团青海有限公司 一种网络设备性能监控方法及网络管理系统

Also Published As

Publication number Publication date
US10498628B2 (en) 2019-12-03
DK2874064T3 (da) 2020-10-26
US20170149644A1 (en) 2017-05-25
US20200106690A1 (en) 2020-04-02
EP2874064A1 (en) 2015-05-20
US9584395B1 (en) 2017-02-28
CN104731690A (zh) 2015-06-24
EP2874064B1 (en) 2020-08-19
US11212208B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN104731690B (zh) 适应性度量收集、存储、和警告阈值
US11947556B1 (en) Computerized monitoring of a metric through execution of a search query, determining a root cause of the behavior, and providing a notification thereof
US10855712B2 (en) Detection of anomalies in a time series using values of a different time series
US11620300B2 (en) Real-time measurement and system monitoring based on generated dependency graph models of system components
US11775343B1 (en) Duty cycle estimation for job assignment
US11748358B2 (en) Feedback on inferred sourcetypes
JP6747287B2 (ja) 情報処理装置及び監視方法
US10659609B2 (en) Hierarchy based graphical user interface generation
US9104572B1 (en) Automated root cause analysis
US11172065B1 (en) Monitoring framework
CN109844781A (zh) 用于从日志文件识别处理流并使流可视化的系统和方法
CA2947158A1 (en) Systems, devices and methods for generating locality-indicative data representations of data streams, and compressions thereof
US11630695B1 (en) Dynamic reassignment in a search and indexing system
US20180218269A1 (en) Event forecasting
CN110417901A (zh) 数据处理方法、装置及网关服务器
US11687487B1 (en) Text files updates to an active processing pipeline
US20180248772A1 (en) Managing intelligent microservices in a data streaming ecosystem
US11693710B1 (en) Workload pool hierarchy for a search and indexing system
CN107924345A (zh) 用于度量的聚合测量结果的数据存储区
CN104937613A (zh) 量化数据质量的探试
CN108337100B (zh) 一种云平台监测的方法和装置
CN106790339A (zh) 元数据服务器、网络装置及自动资源管理方法
CN110856040A (zh) 客户端中监控数据的处理方法和装置
CN114253951B (zh) 数据处理方法、系统及第二服务器
CN116760789A (zh) 数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant