CN111311086A - 一种容量监控方法、装置及计算机可读存储介质 - Google Patents
一种容量监控方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111311086A CN111311086A CN202010086653.1A CN202010086653A CN111311086A CN 111311086 A CN111311086 A CN 111311086A CN 202010086653 A CN202010086653 A CN 202010086653A CN 111311086 A CN111311086 A CN 111311086A
- Authority
- CN
- China
- Prior art keywords
- capacity
- capacity index
- value
- monitoring
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 69
- 238000009826 distribution Methods 0.000 claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 12
- 230000001932 seasonal effect Effects 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005235 decoking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种容量监控方法、装置、系统及计算机可读存储介质，该方法包括：接收采集数据，解析采集数据以获取多个容量指标的当期值；针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；对第一容量指标的合法值进行校验，在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。利用上述方法，能够显著提高监控效率。
Description
技术领域
本发明属于计算机数据处理技术领域，具体涉及一种容量监控方法、装置及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在IT系统的运维过程中，容量管理及容量指标的趋势分析、预测是做好系统运营工作必不可少的一环。同时，随着云平台的推广普及，大数据分析应用于容量管理也是必然的趋势。在日常容量管理工作中，经常会碰到以下几种场景：新系统上线后容量指标还未来得及被识别就已经达到了影响系统运行的压力值；上线的系统容量指标之多，报警之频繁，导致报警泛滥，同样无法有效进行容量监控；大量的刚刚配置好容量指标监控阀值就已经随着业务的变化而失效急需人工维护。针对以上困扰运维人员的容量管理的场景，需要建立一套自动的容量指标的生命周期管理方法。
发明内容
针对上述现有技术中存在的问题，提出了一种容量监控方法、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。
本发明提供了以下方案。
第一方面，提供一种容量监控方法，包括：接收采集数据，解析采集数据以获取多个容量指标的当期值；针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；对第一容量指标的合法值进行校验，并在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。
在一种可能的实施方式中，处于观察状态的第一容量指标为新增容量指标和/或未配置有监控方法和监控阈值的容量指标。
在一种可能的实施方式中，根据分布特征对第一容量指标进行容量监控，包括：根据分布特征确定第一容量指标的预测模型和监控阈值；根据第一容量指标的当期值、预测模型以及监控阈值确定第一容量指标的预测值和置信区间；根据第一容量指标的预测值和置信区间对第一容量指标的下一期值进行容量监控。
在一种可能的实施方式中，还包括：针对多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取第二容量指标配置的预设校验方法，并根据配置的预设校验方法对第二容量指标的当期值进行校验；其中，校验方法包括：正向校验(P positive校验)，或反向校验(N negative校验)，或定限校验(F fixed校验)。
在一种可能的实施方式中，并根据配置的预设校验方法对第二容量指标的当期值进行校验，还包括：获取第二容量指标的当期值的预测值和置信区间，利用配置的校验方法进行校验，其中，第二容量指标的当期值的预测值和置信区间预先根据第二容量指标的历史数据确定；若第二容量指标的当期值通过校验，根据当期值与历史数据计算第二容量指标的下一值的预测值和置信区间。
在一种可能的实施方式中，还包括：若第一容量指标的合法值未通过校验，通过界面展示第一容量指标的当期值和历史数据。
在一种可能的实施方式中，还包括：在第一容量指标的合法值通过校验之后，将第一容量指标修改为处于监控状态；针对处于监控状态的第一容量指标，通过预测模型更新迭代第一容量指标的监控阈值。
在一种可能的实施方式中，还包括：判断业务系统的监控开关是否是关闭状态；若监控开关为关闭状态，暂停对第一容量指标的当期值和/或第二容量指标是当期值进行校验，且不纳入历史数据；若监控开关为打开状态，则正常进行校验。
在一种可能的实施方式中，还包括：若第二容量指标的连续多期值未通过校验，将第二容量指标修改为处于观察状态。
在一种可能的实施方式中，第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
在一种可能的实施方式中，在接收采集数据之前，还包括：根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中采集脚本中集成了统计语句自动拼装功能；根据各个容量指标的业务量更新采集脚本的时间粒度，使采集终端基于更新的时间粒度进行数据采集；当任一容量指标的业务量超过预设值之后，加入任一容量指标的峰值系统吞吐量(tps)容量指标。
在一种可能的实施方式中，回溯第一容量指标的历史数据之后，还包括：判断回溯的历史数据是否满足回溯条件，若不满足回溯要求，则使第一容量指标继续维持在观察状态；其中，回溯条件包括：若历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。
第二方面，提供一种容量监控装置，包括：接收模块，用于接收采集数据，解析采集数据以获取多个容量指标的当期值；回溯模块，用于针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；剔除模块，用于利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；监控模块，用于对第一容量指标的合法值进行校验，并在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。
在一种可能的实施方式中，处于观察状态的第一容量指标为新增容量指标和/或未配置有监控装置和监控阈值的容量指标。
在一种可能的实施方式中，监控模块还用于：根据分布特征确定第一容量指标的预测模型和监控阈值；根据第一容量指标的当期值、预测模型以及监控阈值确定第一容量指标的预测值和置信区间；根据第一容量指标的预测值和置信区间对第一容量指标的下一期值进行容量监控。
在一种可能的实施方式中，还包括校验模块，还用于：针对多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取第二容量指标配置的预设校验装置，并根据配置的预设校验装置对第二容量指标的当期值进行校验；其中，校验装置包括：正向校验(P positive校验)，或反向校验(N negative 校验)，或定限校验(F fixed校验)。
在一种可能的实施方式中，校验模块还用于：获取第二容量指标的当期值的预测值和置信区间，利用配置的校验装置进行校验，其中，第二容量指标的当期值的预测值和置信区间预先根据第二容量指标的历史数据确定；若第二容量指标的当期值通过校验，根据当期值与历史数据计算第二容量指标的下一值的预测值和置信区间。
在一种可能的实施方式中，还包括展示模块，用于：若第一容量指标的合法值未通过校验，通过界面展示第一容量指标的当期值和历史数据。
在一种可能的实施方式中，还包括更新模块，用于：在第一容量指标的合法值通过校验之后，将第一容量指标修改为处于监控状态；针对处于监控状态的第一容量指标，通过预测模型更新迭代第一容量指标的监控阈值。
在一种可能的实施方式中，还包括判断模块，用于：判断业务系统的监控开关是否是关闭状态；若监控开关为关闭状态，暂停对第一容量指标的当期值和/或第二容量指标是当期值进行校验，且不纳入历史数据；若监控开关为打开状态，则正常进行校验。
在一种可能的实施方式中，还包括回调模块，用于：若第二容量指标的连续多期值未通过校验，将第二容量指标修改为处于观察状态。
在一种可能的实施方式中，第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
在一种可能的实施方式中，装置还包括脚本生成模块，用于：根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中采集脚本中集成了统计语句自动拼装功能；根据各个容量指标的业务量更新采集脚本的时间粒度，使采集终端基于更新的时间粒度进行数据采集；当任一容量指标的业务量超过预设值之后，加入任一容量指标的峰值系统吞吐量(tps)容量指标。
在一种可能的实施方式中，装置还包括第二判断模块，用于：在回溯第一容量指标的历史数据之后，判断回溯的历史数据是否满足回溯条件，若不满足回溯要求，则使第一容量指标继续维持在观察状态；其中，回溯条件包括：若历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。
第三方面，提供一种容量监控装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：接收采集数据，解析采集数据以获取多个容量指标的当期值；针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；对第一容量指标的合法值进行校验，并在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被多核处理器执行时，使得多核处理器执行如第一方面的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本实施例中，通过利用格拉布斯准则，可以在未知样本分布的情况下将其中的异常值剔除，有效解决了在数据累积阶段误差数据对数据分析的干扰，快速判断数据是否已经连续且平稳，使第一容量指标能从观察状态自动进入监控状态，从而显著提高了监控效率。
应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本发明的具体实施方式。
附图说明
通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：
图1为根据本发明一实施例的容量监控方法的流程示意图；
图2为根据本发明另一实施例的容量监控方法的流程示意图；
图3为根据本发明一实施例的容量监控装置的结构示意图；
图4为根据本发明另一实施例的容量监控装置的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
格拉布斯准则(Grubbs准则)：格拉布斯准则是在未知总体标准差情况下，对正态样本或接近正态样本异常值的一种判别方法。
另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供一种容量监控方法，该容量监控方法所涉及到的应用场景可以为与金融相关的IT生产系统、交易系统等等，例如银行或各类互联网公司的交易系统。
图1为根据本申请一实施例的容量监控方法100的流程示意图，用于，在该流程中，从设备角度而言，执行主体可以是一个或者多个电子设备；从程序角度而言，执行主体相应地可以是搭载于这些电子设备上的程序。
如图1所示，该方法100可以包括：
步骤101、接收采集数据，解析采集数据以获取多个容量指标的当期值；
步骤102、针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；
步骤103、利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；
步骤104、对第一容量指标的合法值进行校验，并在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。
其中，采集数据由多个采集终端获取并发送，采集终端可以是POS机、智能终端等设备。业务系统涉及多种类型的容量指标，如单位时间内的F5请求数、交易笔数、网卡流量、文件系统使用率、CPU使用率、内存使用率、文件空间等。需要说明的是，本发明实施例中，本领域技术人员可对各个容量指标的采集粒度进行具体设置，即该单位时间可以为一秒、一分钟或五分钟等。
针对新增的容量指标，一般需持续观察一段时间，直至该新增的容量指标的监控值趋于稳定之后再纳入监控。然而新增的容量指标从业务角度看是从无到有的过程，无法有效判定何时该容量指标的监控值已经趋于稳定。
本发明实施例中，针对处于观察状态的第一容量指标，在数据积累和数据清洗阶段，会将从采集数据中解析到的该第一容量指标的当期值累积进入大数据样本库中，并利用格布拉斯准则自动进行数据清洗以剔除异常值。在剔除异常值之后对该处于观察状态的第一容量指标的合法值(包括剔除了异常值之后的历史数据和当期值)进行校验以判定该合法值是否连续且稳定，例如，可以根据第一容量指标中合法值的占比确定第一容量指标的合法值是否通过校验。进一步，若判断该第一容量指标连续且稳定，则会自动计算该第一容量指标的分布特征，根据大数据分析为该第一容量指标分配一个预测模型并自动设置或更新该指标的监控阈值。通过这样的设计，任何被引入容量系统管理的指标只要在一段时间内数据稳定且连续，都会被及时且准确地分配一个合适的预测模型及监控阈值以进行监控。另外，本发明实施例中，通过利用格拉布斯准则，可以在未知样本分布的情况下将其中的异常值剔除，有效解决了在数据累积阶段误差数据对数据分析的干扰，快速判断数据是否已经连续且平稳，使第一容量指标能从观察状态自动进入监控状态，从而显著提高了监控效率，并替代人工的判断。
在一种可能的实施方式中，在步骤101之前，还包括：根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中所述采集脚本中集成了统计语句自动拼装功能；根据各个容量指标的业务量更新所述采集脚本的时间粒度，使所述采集终端基于更新的时间粒度进行数据采集；当任一容量指标的业务量超过预设值之后，加入所述任一容量指标的峰值系统吞吐量(tps)容量指标。本发明实施例中，基于上述方案可实现业务类指标的自动聚焦、退焦、自动增加峰值指标等功能，所有工作都由工具自动完成，极大降低了维护成本。
本发明实施例中，各个容量指标可由系统自动生成并纳入管理，这样做有两个好处：一是通过系统自动发现自动纳管可及时地发现新出现的业务类型，也节省了人工录入的工作量；二是可根据各个指标业务量的上升、下降自动提高、降低监控统计的时间粒度，当业务量超过一定程度后会自动加入该指标峰值TPS容量指标。
以收单系统的容量指标采集文件为例，当某一容量指标的文件解析格式制定为normal时，其文件是key-value格式的；当某一容量指标的文件解析格式被制定为special时，其文件格式可在key-value格式上再扩展列并自定义解析规则。
如表1所示，为Normal文件格式小时粒度示例：
| 收单小时粒度 | 折扣交易笔数 | |
| bj_onl_1 | 00 | 46 |
| bj_onl_1 | 01 | 39 |
| bj_onl_1 | 02 | 34 |
| bj_onl_1 | 03 | 4 |
| bj_onl_1 | 04 | 1 |
| bj_onl_1 | 05 | 11 |
| bj_onl_1 | 06 | 81 |
| bj_onl_1 | 07 | 1244 |
表1
如表2所示，为Normal文件格式天粒度示例：
| HCE类型闪付成功交易笔数 | |
| bj_onl_1 | 354 |
| sh_onl_1 | 503 |
表2
如表3所示，为special文件格式小时粒度示例：
| 收单小时粒度 | 交易类型 | 成功交易笔数 |
| 00 | MO0001 | 434 |
| 00 | AD0007 | 592 |
| 00 | NO0003 | 600 |
| 00 | NO0001 | 1186 |
| 01 | AD0001 | 8573 |
| 01 | NP0002 | 1 |
| 01 | MP0008 | 1 |
表3
如表3所示，special格式文件多扩展了一列交易类型列，在此文件中的每个时段的每个交易类型都会被单独解析为一个独立的容量指标，每当一种新的交易类型出现时就会在容量系统中对应自动新增一个指标。这样一方面节省了人工配置上百种交易类型*24小时约数千个容量指标的巨大人工成本，又能识别新出现的指标并将其累积进入大数据样本库进行分析，当某个时段某种交易类型稳定连续后则会自动计算监控阈值纳入监控。
如表2所示，normal格式天粒度图例中，展示了一天的HCE类型闪付成功交易笔数，因其交易量很小按小时粒度监控在很多时段都很难连续且稳定，按天粒度监控就是适合这个指标的监控粒度。但业务是随时都在发展变化的，可能有业务量升高或降低，升高到一定程度后就需要按小时粒度监控，因此可以配置其所属系统、统计粒度、统计口径，在采集数据时根据这些关键信息自动生成采集语句及采集脚本，通过对大数据样本库中数据的分析，并结合通过预设的升级监控粒度的参数共同控制，来决定采集脚本中采集的粒度是天还是小时，天粒度的业务量超过了预设参数就进位为小时粒度，小时粒度的业务量再上升，就为此业务指标自动插入一条采集峰值TPS的容量指标，其统计口径继承自原容量指标，通过这样的方法就能对容量指标根据其业务趋势进行自动聚焦、退焦，相比现有技术方案中人力维护，此方法快速、准确。
在一种可能的实施方式中，处于所述观察状态的所述第一容量指标为新增容量指标和/或未配置有监控方法和监控阈值的容量指标。
在一种可能的实施方式中，还包括：所述第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
在一种可能的实施方式中，根据所述分布特征对所述第一容量指标进行容量监控，包括：根据所述分布特征确定所述第一容量指标的预测模型和监控阈值；根据所述第一容量指标的所述当期值、所述预测模型以及所述监控阈值确定所述第一容量指标的预测值和置信区间；根据所述第一容量指标的所述预测值和所述置信区间对所述第一容量指标的下一期值进行容量监控。
本发明实施例中，针对已经计算得出监控阈值的第一容量指标，可以根据大数据样本库中的历史数据计算其分布特征并进行短期预测，随后根据当期值和分布特征给出下一期的预测值及置信区间。该置信区间便是指标校验使用的阈值范围。因此当下一期值不在该阈值范围内时就代表第一容量指标出现了不合理的变化，会报警通知运维人员，需要运维人员特别关注分析其偏离合理范围的原因。
在一种可能的实施方式中，还包括：针对所述多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取所述第二容量指标配置的预设校验方法，并根据配置的所述预设校验方法对所述第二容量指标的当期值进行校验；其中，所述校验方法包括：正向校验(P positive校验)，或反向校验(N negative校验)，或定限校验(F fixed校验)。
在本发明实施例中，预设校验方法包括三种，分别是正向校验(P positive 校验)、反向校验(N negative校验)、定限校验(F fixed校验)。其中，正向校验用于对容量指标的阈值下限敏感，当小于阈值时报警，一般用于校验某业务指标在某时段内采集数值是否低于预期；反向校验用于对容量指标的阈值上限敏感，当小于阈值时报警，一般用于校验某业务指标在某时段内失败的数值是否高于预期；定限校验用于对容量指标的阈值上下限敏感且上下限相对稳定，例如CPU使用率、内存使用率，其上下限必定在0-100％之间，可校验该指标某时段内采集数值是否在阈值之外。一个容量指标应该如何检查其与阈值间的比较预期是在容量指标进入系统时人工制定的，也可以按类指定，例如业务类指标都分配使用正向校验，业务失败统计的校验都用反向校验，CPU、内存使用率之类指标的都用反向校验。
在一种可能的实施方式中，根据配置的所述预设校验方法对所述第二容量指标的当期值进行校验，还包括：获取所述第二容量指标的当期值的预测值和置信区间，利用配置的所述校验方法进行校验，其中，所述第二容量指标的当期值的预测值和置信区间预先根据所述第二容量指标的历史数据确定；若所述第二容量指标的当期值通过校验，根据所述当期值与历史数据计算所述第二容量指标的下一值的预测值和置信区间。
以小时粒度的指标对配置有正向校验方法的第二容量指标为例简单说明如下：扫描大数据样本库中所有标记有“待分析”的当期值，调取预先根据所述第二容量指标的历史数据确定该第二容量指标的预测值，预测值包括预测值以及预测置信区间。因正向校验对容量指标样本的下限敏感，所以将第二容量指标的当期值与预测置信区间的下限比较。其中，若第二容量指标的当期值大于或等于预测置信区间的下限，则判断为第二容量指标的当期值校验通过，将第二容量指标的当期值的标记修改为“校验通过”，再结合第二容量指标的当期值与历史多期数据计算第二容量指标的下一期的预测值及置信区间。其中，若第二容量指标的当期值小于预测置信区间的下限，则判断第二容量指标的当期值校验不通过，将第二容量指标的当期值的标记修改为“校验未通过”。
在一种可能的实施方式中，还包括：若所述第一容量指标的合法值未通过所述校验，通过界面展示所述第一容量指标的所述当期值和所述历史数据。
在一种可能的实施方式中，还包括：在所述第一容量指标的合法值通过所述校验之后，将所述第一容量指标修改为处于监控状态；针对处于所述监控状态的第一容量指标，通过所述预测模型更新迭代所述第一容量指标的监控阈值。
在一种可能的实施方式中，还包括：判断业务系统的监控开关是否是关闭状态；若所述监控开关为关闭状态，暂停对所述第一容量指标的当期值和/或所述第二容量指标是当期值进行校验，且不纳入历史数据；若所述监控开关为打开状态，则正常进行所述校验。为适应金融业务系统特有的营销季交易高峰期、春节前交易高峰期、春节交易低谷期设置了监控开关，当开关关闭时所有容量指标不进行校验，且特殊时期的统计样本不纳入历史回溯范围。
在一种可能的实施方式中，还包括：若所述第二容量指标的连续多期值未通过所述校验，将所述第二容量指标修改为处于观察状态。也即，对该处于观察状态的第二容量指标重新进行数据累积和数据清洗，直至其达到新的稳态再次进入到监控状态。可选地，为避免容量指标在聚焦、退焦间频繁震荡，同一容量指标满足聚焦或退焦的条件连续N天后才会修改其统计粒度，N为正整数。
本发明实施例中，当第二容量指标已经多期校验不通过时，我们可以认为该指标已经发生了衰退，一般是业务上的变化带来的，此时其在大数据样本库中累积的数据对其未来近期的预测已经失去了指导意义，对其继续监控只会频繁报警带来报警泛滥。对于这种情况，本发明实施例在之前若干期(通过参数配置，例如7天)校验不通过时每次都发送告警邮件，连续七天或40天内超过 12次(通过数学计算得出，这样多噪点的序列将无法准确计算分布特征)将第二容量指标从监控状态中移除，并将其重新设置为观察状态，重新进行数据累积和数据清洗，直至其达到新的稳态再次进入到监控范围。此方法可有效避免衰退指标给监控带来干扰，同时其状态的转变完全由工具自动控制，其衰退或再次上升都能由系统为其分配一个合理的观察、监控状态。
在一种可能的实施方式中，在步骤102中的回溯所述第一容量指标的历史数据之后，还包括：判断回溯的所述历史数据是否满足回溯条件，若不满足所述回溯要求，则使所述第一容量指标继续维持在观察状态；其中，所述回溯条件包括：若所述历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。例如，假设回溯包含当期值在内的40期(可根据实际应用进行配置，但不能少于15期)历史数据，若40期历史数据中非零值的个数 (定限校验的容量指标除外，这样的数据样本值为零是合法样本)大于35个且标记为“待分析”的数值个数大于20个，就可以满足该回溯要求，由于本专利具有自动聚焦、退焦功能，此上述回溯条件的判断是为了防止容量指标在聚焦、退焦中反复震荡。
如图2所述，在本发明实施例的一个示例中，从接收到的采集数据中解析出某一容量指标的当期值后，先查询配置表判断该容量指标是否已经被分配了预设校验方法。应当理解，一个容量指标只有在其历史数据连续且稳定后才能按照预设校验方法(配置在容量指标统计配置表中)对当期值进行校验，不满足的容量指标其校验方法都被置为‘O’，即observe观察中状态。若容量指标的判断方法在‘P’(正向校验)，‘N’(反向校验)，‘F’(定限校验)中则代表当期值可以与预测值按照预设校验方法进行校验，将当期值汇总进入大数据样本库并将其valid_in字段标记为‘W’，即waiting状态代表等待进行分析、校验。若容量指标判断方法非(‘P’，‘N’，‘F’)则代表其历史数据还不稳定/或不连续/或是一个刚进入系统的容量指标，这三种情况都需要历史数据及当期值合并进行判断。因此可以回溯包含当期值在内的40期(可按照实际情况进行配置，但不能少于15期)历史数据，若40期历史数据中非零值的个数(定限校验的容量指标除外，这样的数据样本值为零是合法样本)大于35个且valid_in 字段为‘W’的数值大于20个的，就满足回溯要求，进而可利用格拉布斯准则进行校验。不满足回溯要求的容量指标继续维持在‘O’状态，待下一期数据再次进行判断。利用格拉布斯准则进行校验的容量指标会将其40期历史值带入检验，通过程序实现的数学方法研判，其中，若40期值中的合法数值小于33个则代表校验不通过，维持在‘O’状态等待下一期值再校验。若合法数值大于等于33个则代表校验通过，将40期历史值中合法值的valid_in标记为‘1’，不合法值标记为‘0’，再根据合法值计算样本分布特征。
基于相同的技术构思，本发明实施例还提供一种容量监控装置，用于执行上述任一实施例所提供的容量监控方法。图3为本发明实施例提供的一种容量监控装置结构示意图。
如图3所示，装置300包括：
接收模块301，用于接收采集数据，解析采集数据以获取多个容量指标的当期值；
回溯模块302，用于针对多个容量指标中处于观察状态的第一容量指标，回溯第一容量指标的历史数据；
剔除模块303，用于利用格拉布斯准则剔除第一容量指标的当期值和历史数据中的异常值，得到第一容量指标的合法值；
监控模块304，用于对第一容量指标的合法值进行校验，并在校验通过后根据第一容量指标的合法值计算分布特征，并根据分布特征对第一容量指标进行监控。
在一种可能的实施方式中，处于观察状态的第一容量指标为新增容量指标和/或未配置有监控装置和监控阈值的容量指标。
在一种可能的实施方式中，监控模块还用于：根据分布特征确定第一容量指标的预测模型和监控阈值；根据第一容量指标的当期值、预测模型以及监控阈值确定第一容量指标的预测值和置信区间；根据第一容量指标的预测值和置信区间对第一容量指标的下一期值进行容量监控。
在一种可能的实施方式中，还包括校验模块，还用于：针对多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取第二容量指标配置的预设校验装置，并根据配置的预设校验装置对第二容量指标的当期值进行校验；其中，校验装置包括：正向校验(P positive校验)，或反向校验(N negative 校验)，或定限校验(F fixed校验)。
在一种可能的实施方式中，校验模块还用于：获取第二容量指标的当期值的预测值和置信区间，利用配置的校验装置进行校验，其中，第二容量指标的当期值的预测值和置信区间预先根据第二容量指标的历史数据确定；若第二容量指标的当期值通过校验，根据当期值与历史数据计算第二容量指标的下一值的预测值和置信区间。
在一种可能的实施方式中，还包括展示模块，用于：若第一容量指标的合法值未通过校验，通过界面展示第一容量指标的当期值和历史数据。
在一种可能的实施方式中，还包括更新模块，用于：在第一容量指标的合法值通过校验之后，将第一容量指标修改为处于监控状态；针对处于监控状态的第一容量指标，通过预测模型更新迭代第一容量指标的监控阈值。
在一种可能的实施方式中，还包括判断模块，用于：判断业务系统的监控开关是否是关闭状态；若监控开关为关闭状态，暂停对第一容量指标的当期值和/或第二容量指标是当期值进行校验，且不纳入历史数据；若监控开关为打开状态，则正常进行校验。
在一种可能的实施方式中，还包括回调模块，用于：若第二容量指标的连续多期值未通过校验，将第二容量指标修改为处于观察状态。
在一种可能的实施方式中，第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
在一种可能的实施方式中，装置还包括脚本生成模块，用于：根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中采集脚本中集成了统计语句自动拼装功能；根据各个容量指标的业务量更新采集脚本的时间粒度，使采集终端基于更新的时间粒度进行数据采集；当任一容量指标的业务量超过预设值之后，加入任一容量指标的峰值系统吞吐量(tps)容量指标。
在一种可能的实施方式中，装置还包括第二判断模块，用于：在回溯第一容量指标的历史数据之后，判断回溯的历史数据是否满足回溯条件，若不满足回溯要求，则使第一容量指标继续维持在观察状态；其中，回溯条件包括：若历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。
需要说明的是，本申请实施例中的容量监控装置可以实现前述容量监控方法的实施例的各个过程，并达到相同的效果和功能，这里不再赘述。
图4为根据本申请一实施例的容量监控装置，用于执行图1所示出的容量监控方法，该装置包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：
接收采集数据，解析所述采集数据以获取多个容量指标的当期值；
针对所述多个容量指标中处于观察状态的第一容量指标，回溯所述第一容量指标的历史数据；
利用格拉布斯准则剔除所述第一容量指标的当期值和历史数据中的异常值，得到所述第一容量指标的合法值；
对所述第一容量指标的合法值进行校验，并在校验通过后根据所述第一容量指标的合法值计算分布特征，并根据所述分布特征对所述第一容量指标进行监控。
根据本申请的一些实施例，提供了容量监控方法的非易失性计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令设置为在由处理器运行时执行：
接收采集数据，解析所述采集数据以获取多个容量指标的当期值；
针对所述多个容量指标中处于观察状态的第一容量指标，回溯所述第一容量指标的历史数据；
利用格拉布斯准则剔除所述第一容量指标的当期值和历史数据中的异常值，得到所述第一容量指标的合法值；
对所述第一容量指标的合法值进行校验，并在校验通过后根据所述第一容量指标的合法值计算分布特征，并根据所述分布特征对所述第一容量指标进行监控。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以其描述进行了简化，相关之处可参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和计算机可读存储介质与方法是一一对应的，因此，装置、设备和计算机可读存储介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (26)
1.一种容量监控方法，其特征在于，包括：
接收采集数据，解析所述采集数据以获取多个容量指标的当期值；
针对所述多个容量指标中处于观察状态的第一容量指标，回溯所述第一容量指标的历史数据；
利用格拉布斯准则剔除所述第一容量指标的当期值和历史数据中的异常值，得到所述第一容量指标的合法值；
对所述第一容量指标的合法值进行校验，在校验通过后根据所述第一容量指标的合法值计算分布特征，并根据所述分布特征对所述第一容量指标进行监控。
2.根据权利要求1所述的方法，其特征在于，处于所述观察状态的所述第一容量指标为：新增容量指标和/或未配置有监控方法和监控阈值的容量指标。
3.根据权利要求1所述的方法，其特征在于，根据所述分布特征对所述第一容量指标进行容量监控，包括：
根据所述分布特征确定所述第一容量指标的预测模型和监控阈值；
根据所述第一容量指标的所述当期值、所述预测模型以及所述监控阈值确定所述第一容量指标的预测值和置信区间；
根据所述第一容量指标的所述预测值和所述置信区间对所述第一容量指标的下一期值进行容量监控。
4.根据权利要求1所述的方法，其特征在于，还包括：
针对所述多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取所述第二容量指标配置的预设校验方法，并根据配置的所述预设校验方法对所述第二容量指标的当期值进行校验；
其中，所述校验方法包括：正向校验，或反向校验，或定限校验。
5.根据权利要求4所述的方法，其特征在于，根据配置的所述预设校验方法对所述第二容量指标的当期值进行校验，还包括：
获取所述第二容量指标的当期值的预测值和置信区间；
根据所述第二容量指标的当期值的预测值和置信区间，并利用配置的所述校验方法对所述第二容量指标的当期值进行校验，其中，所述第二容量指标的当期值的预测值和置信区间预先根据所述第二容量指标的历史数据确定；
若所述第二容量指标的当期值通过校验，根据所述第二容量指标的所述当期值与历史数据计算所述第二容量指标的下一值的预测值和置信区间。
6.根据权利要求1所述的方法，其特征在于，还包括：
若所述第一容量指标的合法值未通过所述校验，通过界面展示所述第一容量指标的所述当期值和所述历史数据。
7.根据权利要求1所述的方法，其特征在于，还包括：
在所述第一容量指标的合法值通过所述校验之后，将所述第一容量指标修改为处于监控状态；
针对处于所述监控状态的第一容量指标，通过所述预测模型更新迭代所述第一容量指标的监控阈值。
8.根据权利要求5所述的方法，其特征在于，还包括：
判断业务系统的监控开关是否是关闭状态；
若所述监控开关为关闭状态，暂停对所述第一容量指标的当期值和/或所述第二容量指标的当期值进行校验，且不纳入历史数据；
若所述监控开关为打开状态，则正常进行所述校验。
9.根据权利要求1所述的方法，其特征在于，还包括：
若所述第二容量指标的连续多期值未通过所述校验，将所述第二容量指标修改为处于观察状态。
10.根据权利要求3所述的方法，其特征在于，所述第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
11.根据权利要求1所述的方法，其特征在于，在接收采集数据之前，还包括：
根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中所述采集脚本中集成了统计语句自动拼装功能；
根据各个容量指标的业务量更新所述采集脚本的时间粒度，使所述采集终端基于更新的时间粒度进行数据采集；
当任一容量指标的业务量超过预设值之后，加入所述任一容量指标的峰值系统吞吐量容量指标。
12.根据权利要求1所述的方法，其特征在于，回溯所述第一容量指标的历史数据之后，还包括：
判断回溯的所述历史数据是否满足回溯条件，若不满足所述回溯要求，则使所述第一容量指标继续维持在观察状态；
其中，所述回溯条件包括：若所述历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。
13.一种容量监控装置，其特征在于，包括：
接收模块，用于接收采集数据，解析所述采集数据以获取多个容量指标的当期值；
回溯模块，用于针对所述多个容量指标中处于观察状态的第一容量指标，回溯所述第一容量指标的历史数据；
剔除模块，用于利用格拉布斯准则剔除所述第一容量指标的当期值和历史数据中的异常值，得到所述第一容量指标的合法值；
监控模块，用于对所述第一容量指标的合法值进行校验，在校验通过后根据所述第一容量指标的合法值计算分布特征，并根据所述分布特征对所述第一容量指标进行监控。
14.根据权利要求13所述的装置，其特征在于，处于所述观察状态的所述第一容量指标为新增容量指标和/或未配置有监控装置和监控阈值的容量指标。
15.根据权利要求13所述的装置，其特征在于，所述监控模块还用于：
根据所述分布特征确定所述第一容量指标的预测模型和监控阈值；
根据所述第一容量指标的所述当期值、所述预测模型以及所述监控阈值确定所述第一容量指标的预测值和置信区间；
根据所述第一容量指标的所述预测值和所述置信区间对所述第一容量指标的下一期值进行容量监控。
16.根据权利要求13所述的装置，其特征在于，还包括校验模块，还用于：
针对所述多个容量指标中处于监控状态的第二容量指标，通过查询预设配置表获取所述第二容量指标配置的预设校验装置，并根据配置的所述预设校验装置对所述第二容量指标的当期值进行校验；
其中，所述校验装置包括：正向校验，或反向校验，或定限校验。
17.根据权利要求16所述的装置，其特征在于，所述校验模块还用于：
获取所述第二容量指标的当期值的预测值和置信区间，利用配置的所述校验装置进行校验，其中，所述第二容量指标的当期值的预测值和置信区间预先根据所述第二容量指标的历史数据确定；
若所述第二容量指标的当期值通过校验，根据所述当期值与历史数据计算所述第二容量指标的下一值的预测值和置信区间。
18.根据权利要求13所述的装置，其特征在于，还包括展示模块，用于：
若所述第一容量指标的合法值未通过所述校验，通过界面展示所述第一容量指标的所述当期值和所述历史数据。
19.根据权利要求13所述的装置，其特征在于，还包括更新模块，用于：
在所述第一容量指标的合法值通过所述校验之后，将所述第一容量指标修改为处于监控状态；
针对处于所述监控状态的第一容量指标，通过所述预测模型更新迭代所述第一容量指标的监控阈值。
20.根据权利要求17所述的装置，其特征在于，还包括判断模块，用于：
判断业务系统的监控开关是否是关闭状态；
若所述监控开关为关闭状态，暂停对所述第一容量指标的当期值和/或所述第二容量指标是当期值进行校验，且不纳入历史数据；
若所述监控开关为打开状态，则正常进行所述校验。
21.根据权利要求13所述的装置，其特征在于，还包括回调模块，用于：
若所述第二容量指标的连续多期值未通过所述校验，将所述第二容量指标修改为处于观察状态。
22.根据权利要求15所述的装置，其特征在于，所述第一容量指标的预测模型利用一次指数平滑法、二次指数平滑法、ARIMA、季节性ARIMA中的一种或多种确定。
23.根据权利要求13所述的装置，其特征在于，所述装置还包括脚本生成模块，用于：
根据预先配置的多个容量指标的统计粒度、所属系统、统计口径生成采集脚本并推送至采集终端，其中所述采集脚本中集成了统计语句自动拼装功能；
根据各个容量指标的业务量更新所述采集脚本的时间粒度，使所述采集终端基于更新的时间粒度进行数据采集；
当任一容量指标的业务量超过预设值之后，加入所述任一容量指标的峰值系统吞吐量容量指标。
24.根据权利要求13所述的装置，其特征在于，所述装置还包括第二判断模块，用于：
在回溯所述第一容量指标的历史数据之后，判断回溯的所述历史数据是否满足回溯条件，若不满足所述回溯要求，则使所述第一容量指标继续维持在观察状态；
其中，所述回溯条件包括：若所述历史数据中的非零值大于第一预设个数，且携带等待标识的数据大于第二预设个数。
25.一种容量监控装置，其特征在于，包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：
接收采集数据，解析所述采集数据以获取多个容量指标的当期值；
针对所述多个容量指标中处于观察状态的第一容量指标，回溯所述第一容量指标的历史数据；
利用格拉布斯准则剔除所述第一容量指标的当期值和历史数据中的异常值，得到所述第一容量指标的合法值；
对所述第一容量指标的合法值进行校验，并在校验通过后根据所述第一容量指标的合法值计算分布特征，根据所述分布特征对所述第一容量指标进行监控。
26.一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被多核处理器执行时，使得所述多核处理器执行如权利要求1-12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010086653.1A CN111311086B (zh) | 2020-02-11 | 2020-02-11 | 一种容量监控方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010086653.1A CN111311086B (zh) | 2020-02-11 | 2020-02-11 | 一种容量监控方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311086A true CN111311086A (zh) | 2020-06-19 |
| CN111311086B CN111311086B (zh) | 2024-02-09 |
Family
ID=71148907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010086653.1A Active CN111311086B (zh) | 2020-02-11 | 2020-02-11 | 一种容量监控方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311086B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528934A (zh) * | 2022-02-18 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 时序数据异常检测方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771758A (zh) * | 2008-12-31 | 2010-07-07 | 北京亿阳信通软件研究院有限公司 | 一种性能指标值正常波动范围的动态确定方法及其装置 |
| US20110137939A1 (en) * | 2009-12-09 | 2011-06-09 | Linkage Technology Group Co., Ltd. | Data Supervision Based on the Configuration Rule of All Operational Indicators |
| CN103701583A (zh) * | 2012-09-28 | 2014-04-02 | 中国银联股份有限公司 | 加密处理装置及方法 |
| CN104899405A (zh) * | 2014-03-04 | 2015-09-09 | 携程计算机技术（上海）有限公司 | 数据预测方法和系统以及报警方法和系统 |
| CN106101163A (zh) * | 2016-08-29 | 2016-11-09 | 北京工业大学 | 基于OpenFlow的网络架构安全监控系统 |
| CN108269189A (zh) * | 2017-07-05 | 2018-07-10 | 中国中投证券有限责任公司 | 指标数据监控方法、装置、存储介质和计算机设备 |
| CN108572905A (zh) * | 2018-04-23 | 2018-09-25 | 中国农业银行股份有限公司 | 一种基于分布式计算的监控方法及系统 |
| CN108829718A (zh) * | 2018-05-07 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种数据处理的方法和装置 |
| CN108923996A (zh) * | 2018-05-11 | 2018-11-30 | 中国银联股份有限公司 | 一种容量分析方法及装置 |
| CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及系统 |
-
2020
- 2020-02-11 CN CN202010086653.1A patent/CN111311086B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771758A (zh) * | 2008-12-31 | 2010-07-07 | 北京亿阳信通软件研究院有限公司 | 一种性能指标值正常波动范围的动态确定方法及其装置 |
| US20110137939A1 (en) * | 2009-12-09 | 2011-06-09 | Linkage Technology Group Co., Ltd. | Data Supervision Based on the Configuration Rule of All Operational Indicators |
| CN103701583A (zh) * | 2012-09-28 | 2014-04-02 | 中国银联股份有限公司 | 加密处理装置及方法 |
| CN104899405A (zh) * | 2014-03-04 | 2015-09-09 | 携程计算机技术（上海）有限公司 | 数据预测方法和系统以及报警方法和系统 |
| CN106101163A (zh) * | 2016-08-29 | 2016-11-09 | 北京工业大学 | 基于OpenFlow的网络架构安全监控系统 |
| CN108269189A (zh) * | 2017-07-05 | 2018-07-10 | 中国中投证券有限责任公司 | 指标数据监控方法、装置、存储介质和计算机设备 |
| CN108572905A (zh) * | 2018-04-23 | 2018-09-25 | 中国农业银行股份有限公司 | 一种基于分布式计算的监控方法及系统 |
| CN108829718A (zh) * | 2018-05-07 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种数据处理的方法和装置 |
| CN108923996A (zh) * | 2018-05-11 | 2018-11-30 | 中国银联股份有限公司 | 一种容量分析方法及装置 |
| CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528934A (zh) * | 2022-02-18 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 时序数据异常检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311086B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934268B (zh) | 异常交易检测方法及系统 | |
| CN104731664A (zh) | 用于故障处理的方法和装置 | |
| CN110647447B (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| CN110377519B (zh) | 大数据系统的性能容量测试方法、装置、设备及存储介质 | |
| CN110188036A (zh) | 一种软件测试方法及装置 | |
| CN112148561A (zh) | 业务系统的运行状态预测方法、装置及服务器 | |
| CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
| CN110287114B (zh) | 一种数据库脚本性能测试的方法及装置 | |
| KR101830936B1 (ko) | 데이터베이스와 애플리케이션을 위한 웹기반 성능개선 시스템 | |
| CN111311086A (zh) | 一种容量监控方法、装置及计算机可读存储介质 | |
| CN112882956A (zh) | 一种通过数据组合计算自动生成全场景自动化测试案例的方法、装置、存储介质及电子设备 | |
| CN110580253B (zh) | 时序数据组的加载方法、装置、存储介质及电子设备 | |
| CN116977063A (zh) | 一种贷款风险监控装置、方法、设备及存储介质 | |
| CN115248782B (zh) | 一种自动化测试方法、装置及计算机设备 | |
| CN111506455A (zh) | 服务发布结果的查验方法及装置 | |
| CN109064211B (zh) | 营销业务数据分析方法、装置及服务器 | |
| CN115543671A (zh) | 数据分析方法、装置、设备、存储介质及程序产品 | |
| CN115114275A (zh) | 一种数据采集方法、设备及介质 | |
| CN115225470A (zh) | 一种业务异常监测方法、装置、电子设备及存储介质 | |
| CN114896418A (zh) | 知识图谱构建方法、装置、电子设备及存储介质 | |
| CN112882854B (zh) | 一种请求异常的处理方法及装置 | |
| CN112183952A (zh) | 一种指标质量的监管处理方法、装置和电子设备 | |
| Handani et al. | Relationship between features volatility and software architecture design stability in object-oriented software: Preliminary analysis | |
| CN111045849A (zh) | 核对异常原因的识别方法、装置、服务器和存储介质 | |
| CN116051262A (zh) | 风险预测模型的训练方法、风险预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |