CN107918579A - 一种批量生成基线数据的方法和装置 - Google Patents

一种批量生成基线数据的方法和装置 Download PDF

Info

Publication number
CN107918579A
CN107918579A CN201610881278.3A CN201610881278A CN107918579A CN 107918579 A CN107918579 A CN 107918579A CN 201610881278 A CN201610881278 A CN 201610881278A CN 107918579 A CN107918579 A CN 107918579A
Authority
CN
China
Prior art keywords
given time
data
specified index
baseline
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610881278.3A
Other languages
English (en)
Other versions
CN107918579B (zh
Inventor
蔡国兴
贾越锋
王庆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Taiyue Software Co Ltd
Original Assignee
Beijing Shenzhou Taiyue Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Taiyue Software Co Ltd filed Critical Beijing Shenzhou Taiyue Software Co Ltd
Priority to CN201610881278.3A priority Critical patent/CN107918579B/zh
Publication of CN107918579A publication Critical patent/CN107918579A/zh
Application granted granted Critical
Publication of CN107918579B publication Critical patent/CN107918579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种批量生成基线数据的方法和装置，包括：接收多个基线计算任务，对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，包括：对于每个基线计算任务，读取该基线计算任务的配置信息；配置信息中包括：监控对象信息，监控指标信息，计算规则；确定监控对象信息和监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。该方案的效率高、延迟低，利用该方案得到的基线数据在监控过程中判断相应的被监控的指标是否正常，满足被监控的指标在实时监控过程中不断获得新的监控数据需要对监控数据进行判断的需求。

Description

一种批量生成基线数据的方法和装置
技术领域
本发明涉及数据处理技术，具体涉及一种批量生成基线数据的方法和装置。
背景技术
在IT监控领域，被监控的设备中的被监控的指标需要在用户要求的设定范围内活动，如超出该设定范围，说明被监控的设备中的被监控的指标发生异常，应当向用户发起告警。其中，将该设定范围通过基线数据来表征，将被监控的指标的数据与相应的基线数据进行比较即可实现对该指标的有效监控；为满足监控对象实时产生的数据的监控需求，既要求有快速处理、低延迟的系统架构，又要有快速处理的基线计算方法。
在大数据的今天，IT监控的设备以千计、指标以百计，采集的原始数据粒度都在秒级，分析的原始数据范围一般在近半年，导致基线数据的计算量相当巨大，面对如此巨大的基线数据计算量，为了尽可能地满足监控需求，现有技术中有以下两种处理方案：1、手动编写计算服务方法，仅通过对某一时间段内原始数据作分析(近1个月、15天)，触发计算方法，生成基线数据。2、选取部分设备中的部分指标的数据进行分析计算，生成基线数据。
第1种方案，手动编写计算服务方法的工作量极大，且缩短了原始数据的采样空间，虽然也可以完成基线计算数据，但对更长粒度的数据分析，如，近3个月原始数据分析，无法完成，对基线的基准数据产生的精准性也存在误差；第2种方案，只能够实现对部分设备的部分指标的基线数据的计算，无法实现对多个设备多个指标同时进行计算，基线数据计算效率低，延迟时间长，不符合监控需求。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的批量生成基线数据的方法和装置。
依据本发明的一个方面，提供了一种批量计算用于监控的基线数据的方法，该方法包括：
接收多个基线计算任务；
对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，包括：
对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
可选地，所述计算规则中包括：历史数据采样范围，统计周期，计算算法；
则所述根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据包括：
获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据；
根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
可选地，在所述根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，该方法进一步包括：对所述指定时刻对应的多个历史数据进行平滑处理；
则所述根据所述计算算法对所述指定时刻对应的多个历史数据进行计算包括：所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
可选地，所述计算规则中还包括：采样粒度；
所述获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据包括：
对于前一历史数据采样范围内的每个统计周期，提取所述指定设备中的指定指标在该统计周期的指定时刻对应的历史数据；
如果所述指定指标在该统计周期的指定时刻对应的历史数据不存在，根据所述采样粒度提取所述指定指标在该统计周期的指定时刻之前的预定个数的历史数据和指定时刻之后的预定个数的历史数据，得到所述指定指标在该统计周期的指定时刻前后的多个历史数据；
对所述指定指标在该统计周期的指定时刻前后的多个历史数据进行插值计算，得到所述指定指标在该统计周期的指定时刻对应的历史数据。
可选地，该方法进一步包括：
实时监测所述指定设备中的指定指标的数据，获取所述指定指标在当前统计周期的指定时刻的数据；
将所述指定指标在当前统计周期的指定时刻的数据与所述指定指标在当前统计周期的指定时刻对应的基线数据进行比较；
当所述基线数据指示上基线时，如果所述指定指标在当前统计周期的指定时刻的数据大于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
当所述基线数据指示下基线时，如果所述指定指标在当前统计周期的指定时刻的数据小于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
当所述基线数据指示上基线和下基线时，如果所述指定指标在当前统计周期的指定时刻的数据超出所述基线数据范围，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
在确定所述指定设备中的指定指标发生异常时，向相关用户发出告警。
可选地，所述批量计算用于监控的基线数据的方法在部署有Spark集群的服务器上执行，基于Spark集群对所述多个基线处理任务进行并行处理。
可选地，该方法进一步包括：
将Spark集群部署于多个服务器上；当当前正在执行基线处理任务的服务器发生故障时，将所述基线处理任务转移到另一服务器上继续执行；
其中，在多个服务器上部署Spark集群包括：基于Zookeeper框架将Spark集群部署于多个服务器上。
依据本发明的另一个方面，提供了一种批量生成基线数据的装置，该装置包括：
任务接收单元，适于接收多个基线计算任务；
任务处理单元，适于对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，具体地，对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
可选地，所述计算规则中包括：历史数据采样范围，统计周期，计算算法；
所述任务处理单元，适于获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据；根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
可选地，所述任务处理单元，进一步适于在根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，对所述指定时刻对应的多个历史数据进行平滑处理，再所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
可选地，所述计算规则中还包括：采样粒度；
所述任务处理单元，适于对于前一历史数据采样范围内的每个统计周期，提取所述指定设备中的指定指标在该统计周期的指定时刻对应的历史数据；如果所述指定指标在该统计周期的指定时刻对应的历史数据不存在，根据所述采样粒度提取所述指定指标在该统计周期的指定时刻之前的预定个数的历史数据和指定时刻之后的预定个数的历史数据，得到所述指定指标在该统计周期的指定时刻前后的多个历史数据；对所述指定指标在该统计周期的指定时刻前后的多个历史数据进行插值计算，得到所述指定指标在该统计周期的指定时刻对应的历史数据。
可选地，该装置进一步包括：
监控单元，适于实时监测所述指定设备中的指定指标的数据，获取所述指定指标在当前统计周期的指定时刻的数据；将所述指定指标在当前统计周期的指定时刻的数据与所述指定指标在当前统计周期的指定时刻对应的基线数据进行比较；当所述基线数据指示上基线时，如果所述指定指标在当前统计周期的指定时刻的数据大于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示下基线时，如果所述指定指标在当前统计周期的指定时刻的数据小于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示上基线和下基线时，如果所述指定指标在当前统计周期的指定时刻的数据超出所述基线数据范围，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
告警单元，适于在所述监控单元确定所述指定设备中的指定指标发生异常时，向相关用户发出告警。
可选地，所述批量计算用于监控的基线数据的装置在部署有Spark集群的服务器上运行，基于Spark集群对所述多个基线处理任务进行并行处理。
可选地，该装置进一步包括：
配置单元，适于将Spark集群部署于多个服务器上；当当前正在执行基线处理任务的服务器发生故障时，将所述基线处理任务转移到另一服务器上继续执行；
其中，所述配置单元基于Zookeeper框架将Spark集群部署于多个服务器上。
由上述可知，本发明提供的技术方案对多个基线计算任务同时进行并行处理，每个基线计算任务的配置信息中指示了该基线计算任务对应的被监控的设备中的被监控的指标，在对每个基线计算任务进行处理的过程中，根据配置信息指示的计算规则对被监控的设备中的被监控的指标进行计算处理，得到相应的基线数据，则多个基线计算任务并行处理能够得到在不同设备上的多个被监控的指标各自对应的基线数据，该批量生成基线数据的方案的计算效率高、计算延迟低，利用该方案得到的基线数据在监控过程中判断相应的被监控的指标是否正常，满足被监控的指标在实时监控过程中不断获得新的监控数据需要对监控数据进行判断的需求。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种批量生成基线数据的方法的流程图；
图2示出了根据本发明一个实施例的用于配置基线计算任务的配置任务的交互界面；
图3示出了根据本发明一个实施例的一种批量生成基线数据的装置的示意图；
图4示出了根据本发明另一个实施例的一种批量生成基线数据的装置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种批量生成基线数据的方法的流程图。如图1所示，该方法包括：
步骤S110，接收多个基线计算任务。
步骤S120，对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，包括：对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
在具体的实施例中，所述基线数据用于在对所述指定设备中的指定指标进行监控时判断所述指定指标的数据是否符合要求。
可见，图1所示的方法对多个基线计算任务同时进行并行处理，每个基线计算任务的配置信息中指示了该基线计算任务对应的被监控的设备中的被监控的指标，在对每个基线计算任务进行处理的过程中，根据配置信息指示的计算规则对被监控的设备中的被监控的指标进行计算处理，得到相应的基线数据，则多个基线计算任务并行处理能够得到在不同设备上的多个被监控的指标各自对应的基线数据，该批量生成基线数据的方案的计算效率高、计算延迟低，利用该方案得到的基线数据在监控过程中判断相应的被监控的指标是否正常，满足被监控的指标在实时监控过程中不断获得新的监控数据需要对监控数据进行判断的需求。
其中，基线计算任务是用户通过交互界面配置生成的，配置生成的基线计算任务被保存至任务数据库中，上述步骤S110接收基线计算任务的过程可以是从任务数据库中读取基线计算任务的过程。此外，上述步骤S120对被监控的设备中的被监控的指标的历史数据进行计算处理，其中的历史数据是历史监控过程中所获取到的，需要说明的是，监控过程与基线计算过程是在本方案中是同时存在进行的，之前的监控所获取到的历史数据作为后续监控过程需要用到的基线数据的计算依据，之前的监控所获取到的历史数据可以存储在相应的监控数据库中，包括各个设备中的各个指标的数据，监控数据库中的数据粒度是根据监控的粒度而定的，本方案在进行基线计算任务的处理时从监控数据库中获取相应的数据作为历史数据。基线数据可以为上基线数据和/或下基线数据，分别指示了相应被监控数据的向上阈值和向下阈值。
在本发明的一个实施例中，依然以上述对应于指定设备中的指定指标进行监控的基线计算任务为例，对于该基线计算任务来说，配置信息中的计算规则中包括：历史数据采样范围，统计周期，计算算法；则上述步骤S120根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据包括：
步骤S121，获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据。
步骤S122，根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
例如，基线计算任务的配置信息中指示了：被监控的指定设备中的指定指标为设备A中的CPU速率，统计周期为1天，历史数据采样范围为30天；以统计周期的指定时刻为每天的20：00为例，为了计算设备A中的CPU速率在今天20：00的基线，上述步骤S120的执行步骤是：获取设备A中的CPU速率在前30天内的每一天的20：00的数值，理想情况下可以获得30个20：00对应的数值，根据配置信息中指示的计算算法对这30个20：00对应的数值进行计算，则可以得到设备A中的CPU速率在今天20：00的基线数据，当监测到设备A中的CPU速率在今天20：00的数值时，将该数值与相应的基线作比较，进而判断该数值是否超出该基线数据指示的范围，是则确定设备A中的CPU速率在今天20：00发生异常，同理，同一统计周期内的其他时刻也可以通过上述过程进行计算，则可以获得被监控的设备中的被监控的指标在当前统计周期内的各个时刻对应的基线的变化过程。
进一步地，配置信息中的计算规则中还包括：采样粒度；上述步骤S121获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据包括：对于前一历史数据采样范围内的每个统计周期，提取所述指定设备中的指定指标在该统计周期的指定时刻对应的历史数据；如果所述指定指标在该统计周期的指定时刻对应的历史数据不存在，根据所述采样粒度提取所述指定指标在该统计周期的指定时刻之前的预定个数的历史数据和指定时刻之后的预定个数的历史数据，得到所述指定指标在该统计周期的指定时刻前后的多个历史数据；对所述指定指标在该统计周期的指定时刻前后的多个历史数据进行插值计算，得到所述指定指标在该统计周期的指定时刻对应的历史数据。
沿用上文中的例子，在获取设备A中的CPU速率在前30天(8月29-9月28日)内的每一天的20：00的数值的过程中，在监控数据库中设备A中的CPU速率在9月1日的20：00的数值不存在，只提取出29个20：00对应的数值；为解决该问题，根据配置信息中的采样粒度为5min，则从监控数据库中查找设备A中的CPU速率在9月1日的19：55的数值和20：05的数值，即设备A中的CPU速率在9月1日当前20：00前后5min的数值，根据这两个数值做插值计算，计算得到20：00的数值，具体地，可以直接计算这两个数值的平均值作为插值计算结果，将计算出的设备A中的CPU速率在9月1日20：00的数值补入到前文中提取出的20：00对应的数值中，得到30个提取出20：00对应的数值。后续则可以根据这些数值计算设备A的CPU速率在今天20：00对应的基线数据。
以及，在上述步骤S122根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，该方法进一步包括：对所述指定时刻对应的多个历史数据进行平滑处理；则步骤S122根据所述计算算法对所述指定时刻对应的多个历史数据进行计算包括：所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
以一个具体例子来进行说明，本例接收多个基线计算任务并进行并行处理，以其中的一个基线计算任务的处理过程为例，根据配置信息可知，监控对象信息为设备A，监控指标信息是I/O速率，统计周期为1天，历史数据采样范围为30天，采样粒度是5min，计算算法为概率分布算法。下面以计算设备A中的I/O速率在2012-4-16，20：00：00的基线数据为例：
史数据采样范围为30天，从监控数据库中取2012-3-17 20：00：00至2012-4-1520：00：00的整20：00的设备A中的I/O速率的历史数据如表1所示：
表1
时间 历史性能数据
2012-3-17 20：00 56
2012-3-18 20：00 91
2012-3-19 20：00 79
2012-3-20 20：00 34
2012-3-21 20：00 54
2012-3-22 20：00 51
2012-3-23 20：00 53
2012-3-24 20：00 63
2012-3-25 20：00 39
2012-3-26 20：00 38
2012-3-27 20：00 24
2012-3-28 20：00 39
2012-3-29 20：00 41
2012-3-30 20：00 41
2012-3-31 20：00 39
2012-4-1 20：00 78
2012-4-2 20：00 79
2012-4-3 20：00 67
2012-4-4 20：00 66
2012-4-5 20：00 69
2012-4-7 20：00 63
2012-4-8 20：00 87
2012-4-9 20：00 81
2012-4-10 21：00 94
2012-4-11 20：00 99
2012-4-12 20：00 73
2012-4-13 20：00 103
2012-4-14 20：00 102
2012-4-15 20：00 79
对取出的历史数据进行平滑处理，由于对应于20：00整点的数据基本都存在，因此平滑处理后的历史数据直接取这些整点的历史数据自身，当然也可以在补齐所有历史数据之后再进行相应的平滑处理；另外，由于2012-4-6 20：00：00的数据不存在，因此需要取2012-4-6该20：00时间点的上下相邻时间数据做平滑，且由于采样粒度是5min，取2012-4-619：55和2012-4-6 20：05这两个时间点对应的设备A中的I/O速率的历史数据，对这两个历史数据进行插值计算得到2012-4-6 20：00：00设备A中的I/O速率的历史数据为89，如表2所示。将计算得到的2012-4-6 20：00：00设备A中的I/O速率的历史数据补入前文中取出的2012-3-17 20：00：00至2012-4-15 20：00：00的整20：00的设备A中的I/O速率的历史数据，获得如表3所示的2012-3-17 20：00：00至2012-4-15 20：00：00的整20：00的设备A中的I/O速率的历史数据，补入的数据以线框标示出。
表2
时间 历史性能数据
2012-4-6 19：55：00 85
2012-4-6 20：05：00 94
表3
时间 历史性能数据
2012-3-17 20：00 56
2012-3-18 20：00 91
2012-3-19 20：00 79
2012-3-20 20：00 34
2012-3-21 20：00 54
2012-3-22 20：00 51
2012-3-23 20：00 53
2012-3-24 20：00 63
2012-3-25 20：00 39
2012-3-26 20：00 38
2012-3-27 20：00 24
2012-3-28 20：00 39
2012-3-29 20：00 41
2012-3-30 20：00 41
2012-3-31 20：00 39
2012-4-1 20：00 78
2012-4-2 20：00 79
2012-4-3 20：00 67
2012-4-4 20：00 66
2012-4-5 20：00 69
2012-4-6 20：00 89
2012-4-7 20：00 63
2012-4-8 20：00 87
2012-4-9 20：00 81
2012-4-10 21：00 94
2012-4-11 20：00 99
2012-4-12 20：00 73
2012-4-13 20：00 103
2012-4-14 20：00 102
2012-4-15 20：00 79
在获取到2012-3-17 20：00：00至2012-4-15 20：00：00的整20：00的设备A中的I/O速率的历史数据，接着进行设备A中的I/O速率在2012-4-16 20：00的基线数据计算：
首先，通过区间取数法去杂，区间选数去杂主要是为了去掉那些特别大特别小的历史数据，抽取在分布最多区间中的历史数据，保证所取出的历史数据尽量平滑，包括如下步骤：
(1)前文中获取到的2012-3-17 20：00：00至2012-4-15 20：00：00的整20：00的设备A中的I/O速率的历史数据如下：
[56,91,79,34,54,51,53,63,39,38,24,39,41,41,39,78,79,67,66,69,89,63,87,81,94,99,73,103,102,79]。
(2)按从小到大排序，去掉第一个最小的历史数据，再去掉后面最大的历史数据，因为这些数据有可能是异常大的数或异常小的数，去掉后剩下28个历史数据：
[34,38,39,39,39,41,41,51,53,54,56,63,63,66,67,69,73,78,79,79,79,81,87,89,91,94,99,102]。
(3)确定5个区间范围，102/5＝21：[0～21],[21～42],[42～63],[63～84],[84～105]。
(4)把(2)中的28个历史数据分配到这些区间中去(区间最小值<＝N<区间最大值)后为：
区间1＝[]；区间2＝[34,38,39,39,39,41,41]；区间3＝[51,53,54,56]；区间4＝[63,63,66,67,69,73,78,79,79,79,81]；区间5＝[87,89,91,94,99,102]。
(5)区间4中的历史数据个数最多，所以取区间4上邻区间3和它下邻区间5的历史数据，如果它上、邻区间没有历史数据，可不取，取完的历史数据为：
[51,53,54,56,63,63,66,67,69,73,78,79,79,79,81,87,89,91,94,99,102]。
其次，对于剩下21个历史数据，接着采用概率分布算法(标准差)方法计算出上下基线：通过区间选数法去杂进行平滑处理之后，对去杂之后的这些数据再进行概率分布算法，取出设备A中的I/O速率在2012-4-16 20：00的上下基线数据，具体包括：
当前基线计算任务的配置信息中的置信度为0.8，通过置信度求前文获得的21个历史数据的滑动窗口数据个数为：[51,53,54,56,63,63,66,67,69,73,78,79,79,79,81,87,89,91,94,99,102]，21*0.8＝16.8取整为16。
滑动排序数据的窗口(窗口大小为16个历史数据)，计算该窗口中历史数据的均方差，按照概率分布算法中的标准差的计算方法计算：第1个历史数据到第16个历史数据：[51,53,54,56,63,63,66,67,69,73,78,79,79,79,81,87]的均方差为10.95944227595547；第2个数到第17个数[53,54,56,63,63,66,67,69,73,78,79,79,79,81,87,89]的均方差为11；第3个数到第18个数[54,56,63,63,66,67,69,73,78,79,79,79,81,87,89,91]的均方差为10.95944227595547；第4个数到第19个数[56,63,63,66,67,69,73,78,79,79,79,81,87,89,91,94]的均方差为10.815931536395745；第5个数到第20个数[63,63,66,67,69,73,78,79,79,79,81,87,89,91,94,99]的均方差为10.885591107055234；第6个数到第21个数[63,66,67,69,73,78,79,79,79,81,87,89,91,94,99,102]的均方差为11.478240283248997。上述计算的滑动窗口的的均方差结果如表4所示：
表4
滑动窗口范围 窗口均差值
1～16 10.95944227595547
2～17 11
3～18 10.95944227595547
4～19 10.815931536395745
5～20 10.885591107055234
6～21 11.478240283248997
其中均方差最小为4～19窗口的10.815931536395745，表明该窗口内的历史数据的稳定性最好，因此取该窗口的历史数据[56,63,63,66,67,69,73,78,79,79,79,81,87,89,91,94]的最大值94作为设备A中的I/O速率在2012-4-16 20：00的上基线的值，56作为设备A中的I/O速率在2012-4-16 20：00的下基线的值。
进一步地，在得到上基线值为94，下基线值为56之后，根据基线配置，容忍度配置为20％的相对容忍度，通过计算得到上下容忍度分别为:上容忍度＝上基线值94*(1+20％)＝112.8，下容忍度＝下基线值56*(1-20％)＝44.8。
在本发明的一个实施例中，在对于基线计算任务进行处理的过程中，图1所示的方法在获得指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据后，进一步包括：
步骤S130，实时监测所述指定设备中的指定指标的数据，获取所述指定指标在当前统计周期的指定时刻的数据；将所述指定指标在当前统计周期的指定时刻的数据与所述指定指标在当前统计周期的指定时刻对应的基线数据进行比较。
步骤S140，当所述基线数据指示上基线时，如果所述指定指标在当前统计周期的指定时刻的数据大于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示下基线时，如果所述指定指标在当前统计周期的指定时刻的数据小于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示上基线和下基线时，如果所述指定指标在当前统计周期的指定时刻的数据超出所述基线数据范围，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常。
步骤S150，在确定所述指定设备中的指定指标发生异常时，向相关用户发出告警，以提醒相应用户对该发生异常的设备中的指标采取相应的措施。
在多个基线计算任务并行处理的过程中，每个基线处理任务的处理过程均依据上文所述的各实施例的原理加以实施，本发明的方案所提供的批量计算用于监控的基线数据的方法在部署有Spark集群的服务器上执行，基于Spark集群对所述多个基线处理任务进行并行处理，可以保证每个被监控的设备中的每个被监控的指标对应的基线数据可以不断地快速产生，减少延迟等待时间。
同时，为了保证基线计算任务的处理过程的稳定性，可以将Spark集群部署于多个服务器上；当当前正在执行基线处理任务的服务器发生故障时，将所述基线处理任务转移到另一服务器上继续执行；实现互备，保证一个服务停止时，计算服务不丢失，自动转移到另一台设备上继续计算。其中，在多个服务器上部署Spark集群包括：基于Zookeeper框架将Spark集群部署于多个服务器上，借助其他关联手段(ZooKeeper中间件)，实现集群配置，实现高可用性。
在本发明的一个实施例中，图2示出了根据本发明一个实施例的用于配置基线计算任务的配置任务的交互界面，如图2所示，每个基线计算任务的配置信息均是由相关用户通过交互界面配置生成的，即本发明提供的方案中的基线计算任务均是可配置，增强了基线计算方案的可拓展性和灵活性，且在用户修改基线计算任务的配置信息或者重新配置新的基线计算任务时，无需改变计算平台的架构，十分省时省力，该有益效果是现有技术所不能达到的。
图3示出了根据本发明一个实施例的一种批量生成基线数据的装置的示意图。如图3所示，该批量生成基线数据的装置300包括：
任务接收单元310，适于接收多个基线计算任务。
任务处理单元320，适于对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，具体地，对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
在具体的实施例中，所述基线数据用于在对所述指定设备中的指定指标进行监控时判断所述指定指标的数据是否符合要求。
可见，图3所示的装置对多个基线计算任务同时进行并行处理，每个基线计算任务的配置信息中指示了该基线计算任务对应的被监控的设备中的被监控的指标，在对每个基线计算任务进行处理的过程中，根据配置信息指示的计算规则对被监控的设备中的被监控的指标进行计算处理，得到相应的基线数据，则多个基线计算任务并行处理能够得到在不同设备上的多个被监控的指标各自对应的基线数据，该批量生成基线数据的方案的计算效率高、计算延迟低，利用该方案得到的基线数据在监控过程中判断相应的被监控的指标是否正常，满足被监控的指标在实时监控过程中不断获得新的监控数据需要对监控数据进行判断的需求。
在本发明的一个实施例中，所述计算规则中包括：历史数据采样范围，统计周期，计算算法；任务处理单元320，适于获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据；根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
在本发明的一个实施例中，任务处理单元320，进一步适于在根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，对所述指定时刻对应的多个历史数据进行平滑处理，再所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
进一步地，所述计算规则中还包括：采样粒度；任务处理单元320，适于对于前一历史数据采样范围内的每个统计周期，提取所述指定设备中的指定指标在该统计周期的指定时刻对应的历史数据；如果所述指定指标在该统计周期的指定时刻对应的历史数据不存在，根据所述采样粒度提取所述指定指标在该统计周期的指定时刻之前的预定个数的历史数据和指定时刻之后的预定个数的历史数据，得到所述指定指标在该统计周期的指定时刻前后的多个历史数据；对所述指定指标在该统计周期的指定时刻前后的多个历史数据进行插值计算，得到所述指定指标在该统计周期的指定时刻对应的历史数据。
上述实施例中，所述批量计算用于监控的基线数据的装置300在部署有Spark集群的服务器上运行，基于Spark集群对所述多个基线处理任务进行并行处理。
图4示出了根据本发明另一个实施例的一种批量生成基线数据的装置的示意图，如图4所示，该批量计算用于监控的基线数据的装置400包括：任务接收单元410、任务处理单元420，监控单元430、告警单元440和配置单元450。
其中，任务接收单元410、任务处理单元420与图3所示任务接收单元310、任务处理单元320对应相同，在此不再赘述。
监控单元430，适于实时监测所述指定设备中的指定指标的数据，获取所述指定指标在当前统计周期的指定时刻的数据；将所述指定指标在当前统计周期的指定时刻的数据与所述指定指标在当前统计周期的指定时刻对应的基线数据进行比较；当所述基线数据指示上基线时，如果所述指定指标在当前统计周期的指定时刻的数据大于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示下基线时，如果所述指定指标在当前统计周期的指定时刻的数据小于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；当所述基线数据指示上基线和下基线时，如果所述指定指标在当前统计周期的指定时刻的数据超出所述基线数据范围，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
告警单元440，适于在所述监控单元确定所述指定设备中的指定指标发生异常时，向相关用户发出告警。
在本发明的一个实施例中，配置单元450，适于将Spark集群部署于多个服务器上；当当前正在执行基线处理任务的服务器发生故障时，将所述基线处理任务转移到另一服务器上继续执行；其中，所述配置单元基于Zookeeper框架将Spark集群部署于多个服务器上。所述批量计算用于监控的基线数据的装置400在部署有Spark集群的服务器上运行，基于Spark集群对所述多个基线处理任务进行并行处理。
需要说明的是，图3-图4所示装置的各实施例与图1-图2所示的各实施例对应相同，上文中已有详细说明，在此不再赘述。
综上所述，本发明提供的技术方案对多个基线计算任务同时进行并行处理，每个基线计算任务的配置信息中指示了该基线计算任务对应的被监控的设备中的被监控的指标，在对每个基线计算任务进行处理的过程中，根据配置信息指示的计算规则对被监控的设备中的被监控的指标进行计算处理，得到相应的基线数据，则多个基线计算任务并行处理能够得到在不同设备上的多个被监控的指标各自对应的基线数据，该批量生成基线数据的方案的计算效率高、计算延迟低，利用该方案得到的基线数据在监控过程中判断相应的被监控的指标是否正常，满足被监控的指标在实时监控过程中不断获得新的监控数据需要对监控数据进行判断的需求。具有以下有益效果：1、解决了只能计算部分设备的部分指标问题。2、保证了每个对象每个指标都能计算，不受采样范围限制。3、保证了服务的快速、批量处理，大大增强了数据处理能力。4、对基线服务计算的主备和高可用，有了解决方案。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种批量生成基线数据的方法，其特征在于，该方法包括：
接收多个基线计算任务；
对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，包括：
对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；
确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
2.如权利要求1所述的方法，其特征在于，所述计算规则中包括：历史数据采样范围，统计周期，计算算法；
则所述根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据包括：
获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据；
根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
3.如权利要求2所述的方法，其特征在于，在所述根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，该方法进一步包括：对所述指定时刻对应的多个历史数据进行平滑处理；
则所述根据所述计算算法对所述指定时刻对应的多个历史数据进行计算包括：所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
4.如权利要求2所述的方法，其特征在于，所述计算规则中还包括：采样粒度；
所述获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据包括：
对于前一历史数据采样范围内的每个统计周期，提取所述指定设备中的指定指标在该统计周期的指定时刻对应的历史数据；
如果所述指定指标在该统计周期的指定时刻对应的历史数据不存在，根据所述采样粒度提取所述指定指标在该统计周期的指定时刻之前的预定个数的历史数据和指定时刻之后的预定个数的历史数据，得到所述指定指标在该统计周期的指定时刻前后的多个历史数据；
对所述指定指标在该统计周期的指定时刻前后的多个历史数据进行插值计算，得到所述指定指标在该统计周期的指定时刻对应的历史数据。
5.如权利要求2所述的方法，其特征在于，该方法进一步包括：
实时监测所述指定设备中的指定指标的数据，获取所述指定指标在当前统计周期的指定时刻的数据；
将所述指定指标在当前统计周期的指定时刻的数据与所述指定指标在当前统计周期的指定时刻对应的基线数据进行比较；
当所述基线数据指示上基线时，如果所述指定指标在当前统计周期的指定时刻的数据大于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
当所述基线数据指示下基线时，如果所述指定指标在当前统计周期的指定时刻的数据小于所述基线数据，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
当所述基线数据指示上基线和下基线时，如果所述指定指标在当前统计周期的指定时刻的数据超出所述基线数据范围，确定所述指定设备中的指定指标在当前统计周期的指定时刻发生异常；
在确定所述指定设备中的指定指标发生异常时，向相关用户发出告警。
6.如权利1-5中任一项所述的方法，其特征在于，所述批量计算用于监控的基线数据的方法在部署有Spark集群的服务器上执行，基于Spark集群对所述多个基线处理任务进行并行处理。
7.如权利要求6所述的方法，其特征在于，该方法进一步包括：
将Spark集群部署于多个服务器上；当当前正在执行基线处理任务的服务器发生故障时，将所述基线处理任务转移到另一服务器上继续执行；
其中，在多个服务器上部署Spark集群包括：基于Zookeeper框架将Spark集群部署于多个服务器上。
8.一种批量生成基线数据的装置，其特征在于，该装置包括：
任务接收单元，适于接收多个基线计算任务；
任务处理单元，适于对所述多个基线计算任务进行并行处理，生成各基线计算任务对应的基线数据，具体地，对于每个基线计算任务，读取该基线计算任务的配置信息；所述配置信息中包括：监控对象信息，监控指标信息，计算规则；确定所述监控对象信息和所述监控指标信息对应的指定设备中的指定指标，根据所述计算规则对所述指定设备中的指定指标的历史数据进行计算处理，得到所述指定设备中的指定指标对应的基线数据。
9.如权利要求8所述的装置，其特征在于，所述计算规则中包括：历史数据采样范围，统计周期，计算算法；
所述任务处理单元，适于获取所述指定设备中的指定指标在前一历史数据采样范围内的每个统计周期的指定时刻对应的历史数据，得到指定时刻对应的多个历史数据；根据所述计算算法对所述指定时刻对应的多个历史数据进行计算，得到所述指定设备中的指定指标在当前统计周期的指定时刻对应的基线数据。
10.如权利要求8所述的装置，其特征在于，
所述任务处理单元，进一步适于在根据所述计算算法对所述指定时刻对应的多个历史数据进行计算之前，对所述指定时刻对应的多个历史数据进行平滑处理，再所述根据所述计算算法对经过平滑处理后的指定时刻对应的多个历史数据进行计算。
CN201610881278.3A 2016-10-09 2016-10-09 一种批量生成基线数据的方法和装置 Active CN107918579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610881278.3A CN107918579B (zh) 2016-10-09 2016-10-09 一种批量生成基线数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610881278.3A CN107918579B (zh) 2016-10-09 2016-10-09 一种批量生成基线数据的方法和装置

Publications (2)

Publication Number Publication Date
CN107918579A true CN107918579A (zh) 2018-04-17
CN107918579B CN107918579B (zh) 2021-08-06

Family

ID=61891597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610881278.3A Active CN107918579B (zh) 2016-10-09 2016-10-09 一种批量生成基线数据的方法和装置

Country Status (1)

Country Link
CN (1) CN107918579B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572905A (zh) * 2018-04-23 2018-09-25 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN108718303A (zh) * 2018-05-09 2018-10-30 北京仁和诚信科技有限公司 安全运维管理方法及系统
CN108959042A (zh) * 2017-05-19 2018-12-07 北京神州泰岳软件股份有限公司 一种基线管理中基线数据计算方法
CN109376176A (zh) * 2018-08-22 2019-02-22 阿里巴巴集团控股有限公司 一种数据配置方法及装置、一种计算设备及存储介质
CN110554916A (zh) * 2019-07-31 2019-12-10 苏宁云计算有限公司 基于分布式集群的风险指标计算方法及装置
CN111338837A (zh) * 2020-03-02 2020-06-26 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN111381768A (zh) * 2018-12-29 2020-07-07 北京亿阳信通科技有限公司 一种数据监控的方法和装置
CN114615021A (zh) * 2022-02-16 2022-06-10 奇安信科技集团股份有限公司 用于安全分析的实时行为安全基线自动计算方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001174A (zh) * 2006-12-31 2007-07-18 华为技术有限公司 一种在网元管理系统中实现集中调度的方法及系统
KR101505468B1 (ko) * 2013-11-29 2015-03-25 고려대학교 산학협력단 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템
US20160021188A1 (en) * 2014-07-16 2016-01-21 TUPL, Inc. Generic Network Trace with Distributed Parallel Processing and Smart Caching
CN105283853A (zh) * 2013-05-09 2016-01-27 微软技术许可有限责任公司 制定语义基线
CN105279603A (zh) * 2015-09-11 2016-01-27 福建师范大学 可动态配置的大数据分析系统及方法
CN105511957A (zh) * 2014-09-25 2016-04-20 国际商业机器公司 用于生成作业告警的方法和系统
CN105577718A (zh) * 2014-10-15 2016-05-11 卓望数码技术（深圳）有限公司 一种智能化的网络信息采集方法及网络信息采集系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001174A (zh) * 2006-12-31 2007-07-18 华为技术有限公司 一种在网元管理系统中实现集中调度的方法及系统
CN105283853A (zh) * 2013-05-09 2016-01-27 微软技术许可有限责任公司 制定语义基线
KR101505468B1 (ko) * 2013-11-29 2015-03-25 고려대학교 산학협력단 클라우드 컴퓨팅 환경 내 데이터 비교 처리 방법 및 시스템
US20160021188A1 (en) * 2014-07-16 2016-01-21 TUPL, Inc. Generic Network Trace with Distributed Parallel Processing and Smart Caching
CN105511957A (zh) * 2014-09-25 2016-04-20 国际商业机器公司 用于生成作业告警的方法和系统
CN105577718A (zh) * 2014-10-15 2016-05-11 卓望数码技术（深圳）有限公司 一种智能化的网络信息采集方法及网络信息采集系统
CN105279603A (zh) * 2015-09-11 2016-01-27 福建师范大学 可动态配置的大数据分析系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梁彦: "基于分布式平台Spark和YARN的数据挖掘算法的并行化研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *
靳莉: "网络性能监测研究与系统实现", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959042A (zh) * 2017-05-19 2018-12-07 北京神州泰岳软件股份有限公司 一种基线管理中基线数据计算方法
CN108572905A (zh) * 2018-04-23 2018-09-25 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN108572905B (zh) * 2018-04-23 2021-07-23 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN108718303A (zh) * 2018-05-09 2018-10-30 北京仁和诚信科技有限公司 安全运维管理方法及系统
CN108718303B (zh) * 2018-05-09 2021-03-23 北京仁和诚信科技有限公司 安全运维管理方法及系统
CN109376176A (zh) * 2018-08-22 2019-02-22 阿里巴巴集团控股有限公司 一种数据配置方法及装置、一种计算设备及存储介质
CN111381768A (zh) * 2018-12-29 2020-07-07 北京亿阳信通科技有限公司 一种数据监控的方法和装置
CN110554916A (zh) * 2019-07-31 2019-12-10 苏宁云计算有限公司 基于分布式集群的风险指标计算方法及装置
CN110554916B (zh) * 2019-07-31 2022-07-29 苏宁云计算有限公司 基于分布式集群的风险指标计算方法及装置
CN111338837A (zh) * 2020-03-02 2020-06-26 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN111338837B (zh) * 2020-03-02 2023-08-25 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN114615021A (zh) * 2022-02-16 2022-06-10 奇安信科技集团股份有限公司 用于安全分析的实时行为安全基线自动计算方法及装置

Also Published As

Publication number Publication date
CN107918579B (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN107918579A (zh) 一种批量生成基线数据的方法和装置
CN110058977B (zh) 基于流式处理的监控指标异常检测方法、装置及设备
WO2022141871A1 (zh) 时序数据异常检测方法、装置、设备及存储介质
CN110995153B (zh) 一种光伏电站的异常数据检测方法、装置及电子设备
CN110633194B (zh) 一种硬件资源在特定环境下的性能评估方法
CN108492150B (zh) 实体热度的确定方法及系统
CN108696486B (zh) 一种异常操作行为检测处理方法及装置
CN110912775B (zh) 物联网企业网络故障的监控方法及装置
CN110008049A (zh) 一种基于互联网平台的数据修正方法、终端设备及介质
CN110377519B (zh) 大数据系统的性能容量测试方法、装置、设备及存储介质
CN110389840B (zh) 负载消耗预警方法、装置、计算机设备和存储介质
CN111858031A (zh) 一种集群分布式资源调度方法、装置、设备及存储介质
CN112686433B (zh) 快递数量的预测方法、装置、设备及存储介质
CN111290371B (zh) 物联网设备远程诊断的方法及装置、电子设备
CN109462510B (zh) 一种cdn节点质量评估的方法及装置
WO2018098670A1 (zh) 一种进行数据处理的方法和装置
WO2020082518A1 (zh) 一种识别带宽需求突发的方法和装置
CN110058811A (zh) 信息处理装置、数据管理系统、方法以及计算机可读介质
CN108804224A (zh) 一种基于Spark框架的中间数据权重设置方法
CN108255704A (zh) 一种脚本调用事件的异常响应方法及其终端
CN114003466A (zh) 一种用于微服务应用程序的故障根因定位方法
US20190138931A1 (en) Apparatus and method of introducing probability and uncertainty via order statistics to unsupervised data classification via clustering
CN110825493A (zh) 一种虚拟机调优的方法及装置
CN110837459A (zh) 一种基于大数据的运行绩效分析方法及系统
CN106648867B (zh) 基于云数据中心的智能平滑重启方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 818, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080

Applicant after: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.

Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A Room 601

Applicant before: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant