CN110389876B - 基础资源容量监管方法、装置、设备及存储介质 - Google Patents

基础资源容量监管方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110389876B
CN110389876B CN201910525573.9A CN201910525573A CN110389876B CN 110389876 B CN110389876 B CN 110389876B CN 201910525573 A CN201910525573 A CN 201910525573A CN 110389876 B CN110389876 B CN 110389876B
Authority
CN
China
Prior art keywords
data
basic resource
monitoring data
resource capacity
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910525573.9A
Other languages
English (en)
Other versions
CN110389876A (zh
Inventor
关琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910525573.9A priority Critical patent/CN110389876B/zh
Priority to PCT/CN2019/102548 priority patent/WO2020252901A1/zh
Publication of CN110389876A publication Critical patent/CN110389876A/zh
Application granted granted Critical
Publication of CN110389876B publication Critical patent/CN110389876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及云技术领域，公开了一种基础资源容量监管方法，包括以下步骤：监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据；若存在，则对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中；从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；基于所述预测结果，进行基础资源容量管理。本发明还公开了一种基础资源容量监管装置、设备及计算机可读存储介质。本发明实现了对产品设备的基础资源容量可预测性监管，提升了资源容量监控的时效性，同时也降低了由于资源不足而停止提供产品服务的损失。

Description

基础资源容量监管方法、装置、设备及存储介质
技术领域
本发明涉及云技术领域，尤其涉及一种基础资源容量监管方法、装置、设备及存储介质。
背景技术
现有技术中，为避免产品服务出现问题，通常都需要对各产品服务对应的基础资源进行监控。通常，运维人员都是使用简单的excel表格记录基础资源状况来人为进行监管。此外，不同的产品服务使用不同的监管方案且分别独立监控，监控方案不统一且不集中，进而导致基础资源问题发现不及时，当产品服务出现问题或者基础资源容量耗尽而出发告警时，运维人员才发现并解决问题，进而影响产品服务体验。
发明内容
本发明的主要目的在于提供一种基础资源容量监管方法、装置、设备及存储介质，旨在解决现有技术中人为进行基础资源监管不够方便且运维效果较差的技术问题。
为实现上述目的，本发明提供一种基础资源容量监管方法，所述基础资源容量监管方法包括以下步骤：
监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
若存在，则对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中；
从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
基于所述预测结果，进行基础资源容量管理。
可选地，在所述监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据的步骤之前，还包括：
监测是否存在产品端发送的数据采集策略获取请求，所述数据采集策略获取请求中包含有产品端的基本信息；
若存在，则基于产品端的基本信息进行策略匹配；
若匹配到，则将匹配到的数据采集策略下发产品端。
可选地，所述对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中包括：
对所述监控数据进行数据校验，所述数据校验包括：数据字段格式校验和产品名称校验，其中，所述数据字段格式校验用于验证监控数据中每个字段的数据格式是否符合要求，所述产品名称校验用于验证推送所述监控数据的产品端是否是已经注册在案的产品设备；
对通过数据校验的监控数据进行数据融合，以供多维度统计基础资源容量的使用状况，其中，所述数据融合包括：将同类型的监控数据进行累加以及将不同类型的监控数据进行逻辑加工。
可选地，在所述监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据的步骤之前，还包括：
设置产品端容量巡检报告的定时订阅任务；
在所述对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中的步骤之后，还包括：
监测当前是否满足所述定时订阅任务的触发条件；
若满足，则从所述数据库中读取产品端的最新一条基础资源容量监控数据；
将读取到的基础资源容量监控数据填入预置邮件模板，并生成产品端的订阅邮件；
调取邮件发送接口，将所述订阅邮件发送至预置邮件收件地址。
可选地，在所述从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果的步骤之前，还包括：
采用线性拟合算法，对历史监控数据进行训练，构建基础资源使用量预测模型；
设置预测维度、告警比例阈值以及基础资源使用量的定时预测任务；
所述从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果包括：
监测当前是否满足所述定时预测任务的触发条件；
若满足，则基于所述预测维度，从所述数据库中读取监控数据；
通过所述基础资源使用量预测模型，对读取的监控数据进行预测，以判断在未来指定时间点对应的基础资源使用量是否达到最大可用量，其中，基础资源最大可用量＝当前基础资源总量*告警比例阈值。
可选地，所述基于所述预测结果，进行基础资源容量管理包括：
基于所述预测结果，生成用于衡量基础资源服务器运行状态的预测指标数据；
基于各预测指标数据的数值大小，控制各指标对应的指示灯显示相应颜色，以供基于指示灯的显示颜色监控基础资源服务器的运行状态；
其中，若所述预测结果为在未来指定时间点对应的基础资源使用量达到所述最大可用量，则基于预置通知方式发送基础资源采购通知，以触发基础资源采购流程。
可选地，在所述基于所述预测结果，进行基础资源容量管理的步骤之后，还包括：
检测当前基础资源使用量是否达到所述最大可用量；
若是，则触发紧急资源扩充告警，以供通知运维人员通过资源配置页面将备用基础资源补充到基础资源池中。
进一步地，为实现上述目的，本发明还提供一种基础资源容量监管装置，所述基础资源容量监管装置包括：
监测模块，用于监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
校验模块，用于若消息队列中存在产品端推送的多维度的基础资源容量监控数据，则对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中；
预测模块，用于从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
管理模块，用于基于所述预测结果，进行基础资源容量管理。
可选地，所述基础资源容量监管装置还包括：策略下发模块；
所述监测模块还用于：监测是否存在产品端发送的数据采集策略获取请求，所述数据采集策略获取请求中包含有产品端的基本信息；
所述策略下发模块用于：若存在产品端发送的数据采集策略获取请求，则基于产品端的基本信息进行策略匹配，若匹配到，则将匹配到的数据采集策略下发产品端。
可选地，所述校验模块包括：
数据校验单元，用于对所述监控数据进行数据校验，所述数据校验包括：数据字段格式校验和产品名称校验，其中，所述数据字段格式校验用于验证监控数据中每个字段的数据格式是否符合要求，所述产品名称校验用于验证推送所述监控数据的产品端是否是已经注册在案的产品设备；
数据融合单元，用于对通过数据校验的监控数据进行数据融合，以供多维度统计基础资源容量的使用状况，其中，所述数据融合包括：将同类型的监控数据进行累加以及将不同类型的监控数据进行逻辑加工。
可选地，所述基础资源容量监管装置还包括：第一设置模块、读取模块、报告处理模块；
所述第一设置模块用于：设置产品端容量巡检报告的定时订阅任务；
所述监测模块还用于：监测当前是否满足所述定时订阅任务的触发条件；
所述读取模块用于：若当前满足容量巡检报告生成任务的触发条件，则则从所述数据库中读取产品端的最新一条基础资源容量监控数据；
所述报告处理模块用于：将读取到的基础资源容量监控数据填入预置邮件模板，并生成产品端的订阅邮件；以及调取邮件发送接口，将所述订阅邮件发送至预置邮件收件地址。
可选地，所述基础资源容量监管装置还包括：
模型构建模块，用于采用线性拟合算法，对历史监控数据进行训练，构建基础资源使用量预测模型；
第二设置模块，用于设置预测维度、告警比例阈值以及基础资源使用量的定时预测任务；
所述预测模块具体用于：
监测当前是否满足所述定时预测任务的触发条件；
若满足，则基于所述预测维度，从所述数据库中读取监控数据；
通过所述基础资源使用量预测模型，对读取的监控数据进行预测，以判断在未来指定时间点对应的基础资源使用量是否达到最大可用量，其中，基础资源最大可用量＝当前基础资源总量*告警比例阈值。
可选地，所述管理模块具体用于：
基于所述预测结果，生成用于衡量基础资源服务器运行状态的预测指标数据；基于各预测指标数据的数值大小，控制各指标对应的指示灯显示相应颜色，以供基于指示灯的显示颜色监控基础资源服务器的运行状态；
其中，若所述预测结果为在未来指定时间点对应的基础资源使用量达到所述最大可用量，则基于预置通知方式发送基础资源采购通知，以触发基础资源采购流程。
可选地，所述基础资源容量监管装置还包括：
资源扩充模块，用于检测当前基础资源使用量是否达到所述最大可用量；若是，则触发紧急资源扩充告警，以供通知运维人员通过资源配置页面将备用基础资源补充到基础资源池中。
进一步地，为实现上述目的，本发明还提供一种基础资源容量监管设备，所述基础资源容量监管设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基础资源容量监管程序，所述基础资源容量监管程序被所述处理器执行时实现如上述任一项所述的基础资源容量监管方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基础资源容量监管程序，所述基础资源容量监管程序被处理器执行时实现如上述任一项所述的基础资源容量监管方法的步骤。
本发明通过消息队列自动接收各产品端推送的资源容量监控数据并进行基础资源使用量预测，同时根据预测结果自动进行基础资源容量管理，进而实现了基础资源容量的自动化监管，并且提升了基础资源容量管理的时效性，降低了由于资源不足而停止提供产品服务的损失。
附图说明
图1为本发明实施例方案涉及的基础资源容量监管设备运行环境的结构示意图；
图2为本发明基础资源容量监管方法第一实施例的流程示意图；
图3为本发明基础资源容量监管方法第二实施例的流程示意图；
图4为本发明基础资源容量监管方法第三实施例的流程示意图；
图5为本发明基础资源容量监管方法第四实施例的流程示意图；
图6为图2中步骤S140一实施例的细化流程示意图；
图7为本发明基础资源容量监管装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基础资源容量监管设备。
参照图1，图1为本发明实施例方案涉及的基础资源容量监管设备运行环境的结构示意图。
如图1所示，该基础资源容量监管设备包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基础资源容量监管设备的硬件结构并不构成对基础资源容量监管设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基础资源容量监管程序。其中，操作系统是管理和控制基础资源容量监管设备和软件资源的程序，支持基础资源容量监管程序以及其它软件和/或程序的运行。
在图1所示的基础资源容量监管设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等，而处理器1001可以用于调用存储器1005中存储的基础资源容量监管程序，并执行以下基础资源容量监管方法的各实施例的操作。
基于上述基础资源容量监管设备硬件结构，提出本发明基础资源容量监管方法的各个实施例。
参照图2，图2为本发明基础资源容量监管方法第一实施例的流程示意图。本实施例中，所述基础资源容量监管方法包括以下步骤：
步骤S110，监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
本实施例中，产品端具体指基于基础资源对外提供服务的产品设备，比如云主机、云磁盘等。为便于对产品端的基础资源容量进行监管，因此，产品设备上线之前需要在基础资源容量监管设备进行注册，并在注册成功后，即可定期以约定好的数据格式向基础资源容量监管设备指定的消息队列中推送数据，基础资源容量监管设备通过监控消息队列而消费产品端推送的数据。其中，消息队列用于缓存产品端推送的基础资源容量监控数据。本实施例中，优选产品端采用Json数据格式定时向消息队列推送数据。
本实施例中，基础资源具体指各种物理资源，产品服务的正常运行需要底层提供各种物理资源，比如各种物理机。基础资源容量的评价指标主要有内存(已使用量、总量)、cpu(已使用量、总量)、磁盘容量(已使用量、总量)、容量告警阈值等等，ip池也是基础资源，评价指标就是ip个数。因此，基础资源容量监控数据主要包括：基础资源容量的各种评价指标。可选的，基础资源容量监控数据包括：内存总量、内存已使用量、CPU总量、CPU已使用量、磁盘总容量、磁盘已使用量、ip池。
另外，为便于后续分析，基础资源容量监控数据还包括其他数据，比如产品类型、产品所属可用区、可用区所在的数据中心、数据中心所在的城市等。基础资源容量监控数据的数据格式具体由基础资源容量监管设备预先设定。
步骤S120，若存在，则对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中；
本实施例中，若监测到消息队列中存在新推送的监控数据，则从消息队列中读取监控数据并进行数据校验。通过数据校验以剔除垃圾数据或异常数据，从而保证存入数据库中数据的正确性。
可选的，数据校验主要进行两方面的校验：
1、数据字段格式校验，用于验证监控数据中每个字段的数据格式是否符合要求，比如时间字段的数据要符合日期格式要求等；
2、产品名称校验，用于验证推送所述监控数据的产品端是否是已经注册在案的产品设备。
只有在上述两方面的校验同时满足才视为可用数据，否则认为是垃圾数据或异常数据而不存入数据库。本实施例中，对于数据校验的实现方式不限。例如利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器，以对读取的监控数据进行反序列化验证。
可选的，进一步还对通过数据校验的监控数据进行数据融合，以供多维度统计基础资源容量的使用状况，其中，所述数据融合包括：将同类型的监控数据进行累加以及将不同类型的监控数据进行逻辑加工。
本可选实施例中，数据融合是指按照不同的维度统计基础资源容量的使用状况，以满足不同用户的查询需求。对于数据融合的实现方式不限，例如数据格式为Json格式，则由内向外的方式整合数据，将同类型的监控数据进行累加，不同类型的监控数据进行逻辑加工以实现数据整合，最后实现可按照不同的维度给出容量使用状况。例如，将同一可用区内的数据进行累加，将同一数据中心内的不同可用区的数据进行整合，将同一城市内不同数据中心的数据进行整合。
步骤S130，从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
本实施例中，数据库中存储有多个不同产品的历史监控数据，同一个产品的历史监控数据是指在不同时间点对应的基础资源容量监控数据，通过对历史监控数据进行分析，从而找出不同时间点之间基础资源使用量的变化规律，进而可对未来时间点的基础资源使用量进行预测。
本实施例对于预测结果的具体内容不限，比如说，预测未来某个时间点对应的基础资源使用量是多少、预测未来某个时间点对应的基础资源使用量是否达到警戒水平、预测基础资源使用量是否存在异常。
步骤S140，基于所述预测结果，进行基础资源容量管理。
基础资源容量监管设备基于预测结果进行相应决策，以便实现基础资源容量管理。例如，未来某个时间点对应的基础资源使用量达到警戒水平，则发出告警通知，比如通知采购人员采购新的基础资源。又例如，未来一段时间的基础资源使用量异常，比如大幅增长，则通知运维人员进行维护，查找原因。
本实施例通过消息队列自动接收各产品端推送的资源容量监控数据并进行基础资源使用量预测，同时根据预测结果自动进行基础资源容量管理，进而实现了基础资源容量的自动化监管，并且提升了基础资源容量管理的时效性，降低了由于资源不足而停止提供产品服务的损失。
参照图3，图3为本发明基础资源容量监管方法第二实施例的流程示意图。基于上述实施例，本实施例中，在上述步骤S110之前，还包括：
步骤S210，监测是否存在产品端发送的数据采集策略获取请求，所述数据采集策略获取请求中包含有产品端的基本信息；
步骤S220，若存在，则基于产品端的基本信息进行策略匹配；
步骤S230，若匹配到，则将匹配到的数据采集策略下发产品端。
本实施例中，在基础资源容量监管设备设置一策略中心，用以向各产品端提供数据采集策略，产品端通过访问策略中心，从而获取与自身情况匹配的数据采集策略，这样可以做到数据采集策略的动态下发，同时，在后台可根据需要灵活设置不同的数据采集策略，不同的数据采集策略对应采集不同维度的数据内容，从而获得所需的基础资源容量监控数据。需要说明的是，若未匹配到对应的采集策略，则将默认策略下发产品端。如下表1所示的数据采集策略与匹配项的映射关系示例。
表1
采集策略 产品类型 内存总量 产品所属可用区
策略A 云主机 30GB 深圳A区、北京B区
策略B 云磁盘 60GB 深圳C区、广州A区
默认策略 无限制 无限制 无限制
例如，产品端上传的基本信息为：云主机、30GB、深圳A区，则基础资源容量监管设备通过策略匹配，确定匹配的策略为策略A，并将该策略A下发给该产品端，进而该产品端的数据采集SDK将基于该策略A进行基础资源容量监管的数据采集。
参照图4，图4为本发明基础资源容量监管方法第三实施例的流程示意图。基于上述实施例，本实施例中，在上述步骤S10之前，还包括：
步骤S310，设置产品端容量巡检报告的定时订阅任务；
步骤S320，监测当前是否满足所述定时订阅任务的触发条件；
本实施例中，为便于后端运维人员能够动态了解产品端的容量变化情况，因此设置定时订阅任务，通过执行该任务可获得包含有产品端容量变化情况的容量巡检报告。
本实施例对于设置定时订阅任务的方式不限。例如使用Timer，Scheduler，Quartz以及JCron Tab等实现任务调度的Java方法函数或类库。若当前时间到达任务的设定时间，则触发执行订阅任务，以生成包含有产品端容量变化情况的容量巡检报告。
步骤S330，若满足，则从所述数据库中读取产品端的最新一条基础资源容量监控数据；否则返回步骤S320；
步骤S340，将读取到的基础资源容量监控数据填入预置邮件模板，并生成产品端的订阅邮件；
步骤S350，调取邮件发送接口，将所述订阅邮件发送至预置邮件收件地址。
本实施例中，容量巡检报告是按照产品类型进行分类的，不同产品、不同监控项，其对应的巡检报告内容也相应有所区别，巡检报告的主要内容是分别按照不同的维度给出资源监控项的使用状况、分配率、可用区等维度。例如，订阅邮件格式及内容如下：
可用区 类型 内存已分配 内存总量 内存分配率 cpu分配率
SZA 云主机1 60GB 300GB 20％ 30％
本实施例中，容量巡检报告优选基于定时订阅任务而自动生成，每天从数据库中提取用户所订阅产品的最新一条容量数据，并按照邮件模板的格式，将数据对应填入模板，然后调取邮件发送接口将订阅邮件发送给指定收件人。
可选的，在一实施例中还支持数据查询，具体实现步骤如下：
(1)监测当前是否存在前端页面发起的基础资源容量监控数据查询请求；
(2)若存在，则从数据库中提取相应产品的最新一条基础资源容量监控数据并返回至前端页面。
本可选实施例中，用户还可以通过前端页面查询基础资源容量监控数据，用户在前端输入查询条件并发起查询请求，基础资源容量监管设备将基于用户的查询条件，从数据库中提取相应产品的最新一条基础资源容量监控数据，然后返回前端页面，从而实现在线查询与显示。
参照图5，图5为本发明基础资源容量监管方法第四实施例的流程示意图。基于上述实施例，本实施例中，在上述步骤S130之前，还包括：
步骤S410，采用线性拟合算法，对历史监控数据进行训练，构建基础资源使用量预测模型；
步骤S420，设置预测维度、告警比例阈值以及基础资源使用量的定时预测任务；
本实施例中，为实现对基础资源容量的及时监控，提升监控时效性，因此需要能够对各产品端的基础资源容量进行预测。本实施例具体采用线性拟合的方法，按照不同的维度、不同监控项的历史使用量，训练出基础资源使用量预测模型，以通过该预测模型实现对将来各产品端的基础资源使用量进行预测。
线性拟合算法旨在找出能够表达离散数据的线性规律的函数表达式。假设给定离散数据式中xk为自变量x的取值；yk为因变量y的相应值。如果离散数据在某种意义下最佳地逼近或拟合函数表达式y＝f(x，b)，则称该函数表达式为拟合模型，其中b为待定参数，当b仅在f中线性地出现时，称该模型为线性的，否则为非线性的。
本实施例中，以历史监控数据为训练样本，比如同一个产品在多个时间点分别对应的基础资源使用量，通过机器学习方式进行训练，从而找出从x到y之间的一种对应函数关系f(x，b)，该函数表达式y＝f(x，b)即为基础资源使用量预测模型。例如，在机器学习中，使用最小二乘法把样本数据拟合为直线函数，该直线函数即为训练得到的模型。
此外，在本实施例中，上述步骤S130进一步包括：
步骤S1301，监测当前是否满足所述定时预测任务的触发条件；
步骤S1302，若满足，则基于所述预测维度，从所述数据库中读取监控数据；否则返回步骤S1301；
步骤S1303，通过所述基础资源使用量预测模型，对读取的监控数据进行预测，以判断在未来指定时间点对应的基础资源使用量是否达到最大可用量，其中，基础资源最大可用量＝当前基础资源总量*告警比例阈值。
本实施例中，为便于后端运维人员能够提前了解产品端的容量情况，因此设置定时预测任务，通过执行该任务可了解产品端的容量情况。
本实施例对于设置定时预测任务的方式不限。例如使用Timer，Scheduler，Quartz以及JCron Tab等实现任务调度的Java方法函数或类库。若当前时间到达任务的设定时间，则触发执行预测任务，以对产品端的容量情况进行预测。
当达到基础资源使用量的定时预测任务的触发条件时，使用基础资源使用量预测模型对未来指定时间点对应的基础资源使用量进行预测，从而得到未来指定时间点对应的基础资源使用量，并基于该使用量，对基础资源容量进行预防监控。
本实施例中，对基础资源使用量进行预测的目的在于：判断在未来指定时间点对应的基础资源使用量是否达到最大可用量，其中，基础资源最大可用量＝当前基础资源总量*告警比例阈值。若基础资源使用量达到了基础资源最大可用量，则会产生系统异常而无法继续对外提供服务。
本实施例中，基础资源使用量预测是按照默认维度以及告警阈值并设置定时任务来进行，当然也可以是在通过前端页面调整告警阈值以及预警维度之后由用户手动触发进行。
参照图6，图6为图2中步骤S140一实施例的细化流程示意图。基于上述实施例，本实施例中，上述步骤S140包括：
步骤S1401，基于所述预测结果，生成用于衡量基础资源服务器运行状态的预测指标数据；
步骤S1402，基于各预测指标数据的数值大小，控制各指标对应的指示灯显示相应颜色，以供基于指示灯的显示颜色监控基础资源服务器的运行状态；
本实施例中，不同的预测结果对应不同的预测指标数据。指示灯显示的颜色至少包括三种；基础资源服务器的运行状态至少包括良好、一般、异常三种运行状态；每一种颜色对应服务器的一种运行状态。
本实施例中，指示灯采用闪烁方式进行预警，基础资源服务器在异常运行状态下的闪烁频率高于一般运行状态下的闪烁频率、一般运行状态下的闪烁频率高于良好状态下的闪烁频率。
此外，本实施例中，若所述预测结果为在未来指定时间点对应的基础资源使用量达到所述最大可用量，则基于预置通知方式发送基础资源采购通知，以触发基础资源采购流程。
本实施例对于资源使用量预测的应用场景不限，例如可用于自动触发基础资源采购流程。例如，在某一预测场景中，需要预测一个采购周期内基础资源的使用量是否达到最大可用量，比如从采购到资源补充完成需要的时间为90天，若90天内达到最大可用量(当前的基础资源总量*告警阈值)，则预测结果为资源即将耗尽并触发告警。
进一步地，在本发明基础资源容量监管方法一实施例中，在上述步骤S140之后，所述基础资源容量监管方法还包括：
检测当前基础资源使用量是否达到所述最大可用量；
若是，则触发紧急资源扩充告警，以供通知运维人员通过资源配置页面将备用基础资源补充到基础资源池中。
本实施例中，预先在基础资源池中存放少量的备用资源，如一两台物理机，如若在资源即将耗尽又没有资源补充进来的时候，则触发紧急扩充资源的告警，比如通过邮件、短信、电话通知负责人，由负责人根据当前情况在扩充资源页面配置资源补充配置，进而将备用基础资源补充到基础资源池中，也即将物理机补充到集群中。
本发明还提供一种基础资源容量监管装置。
参照图7，图7为本发明基础资源容量监管装置一实施例的功能模块示意图。本实施例中，所述基础资源容量监管装置包括：
监测模块10，用于监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
校验模块20，用于若消息队列中存在产品端推送的多维度的基础资源容量监控数据，则对所述监控数据进行数据校验，并将通过数据校验的监控数据保存到数据库中；
预测模块30，用于从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
管理模块40，用于基于所述预测结果，进行基础资源容量管理。
基于与上述本发明基础资源容量监管方法相同的实施例说明内容，因此本实施例对基础资源容量监管装置的实施例内容不做过多赘述。
本实施例通过消息队列自动接收各产品端推送的资源容量监控数据并进行基础资源使用量预测，同时根据预测结果自动进行基础资源容量管理，进而实现了基础资源容量的自动化监管，并且提升了基础资源容量管理的时效性，降低了由于资源不足而停止提供产品服务的损失。
本发明还提供一种计算机可读存储介质。
本实施例中，所述计算机可读存储介质上存储有基础资源容量监管程序，所述基础资源容量监管程序被处理器执行时实现如上述任一项实施例中所述的基础资源容量监管方法的步骤。其中，基础资源容量监管程序被处理器执行时所实现的方法可参照本发明基础资源容量监管方法的各个实施例，因此不再过多赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims (10)

1.一种基础资源容量监管方法，其特征在于，所述基础资源容量监管方法包括以下步骤：
监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
若存在，则利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器对所述监控数据进行反序列化的数据校验，并将通过数据校验的监控数据保存到数据库中；
从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
基于所述预测结果，进行基础资源容量管理。
2.如权利要求1所述的基础资源容量监管方法，其特征在于，在所述监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据的步骤之前，还包括：
监测是否存在产品端发送的数据采集策略获取请求，所述数据采集策略获取请求中包含有产品端的基本信息；
若存在，则基于产品端的基本信息进行策略匹配；
若匹配到，则将匹配到的数据采集策略下发产品端。
3.如权利要求1所述的基础资源容量监管方法，其特征在于，所述利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器对所述监控数据进行反序列化的数据校验，并将通过数据校验的监控数据保存到数据库中包括：
利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器对所述监控数据进行反序列化的数据校验，所述数据校验包括：数据字段格式校验和产品名称校验，其中，所述数据字段格式校验用于验证监控数据中每个字段的数据格式是否符合要求，所述产品名称校验用于验证推送所述监控数据的产品端是否是已经注册在案的产品设备；
对通过数据校验的监控数据进行数据融合，以供多维度统计基础资源容量的使用状况，其中，所述数据融合包括：将同类型的监控数据进行累加以及将不同类型的监控数据进行逻辑加工。
4.如权利要求1-3中任一项所述的基础资源容量监管方法，其特征在于，在所述监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据的步骤之前，还包括：
设置产品端容量巡检报告的定时订阅任务；
在所述利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器对所述监控数据进行反序列化的数据校验，并将通过数据校验的监控数据保存到数据库中的步骤之后，还包括：
监测当前是否满足所述定时订阅任务的触发条件；
若满足，则从所述数据库中读取产品端的最新一条基础资源容量监控数据；
将读取到的基础资源容量监控数据填入预置邮件模板，并生成产品端的订阅邮件；
调取邮件发送接口，将所述订阅邮件发送至预置邮件收件地址。
5.如权利要求1所述的基础资源容量监管方法，其特征在于，在所述从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果的步骤之前，还包括：
采用线性拟合算法，对历史监控数据进行训练，构建基础资源使用量预测模型；
设置预测维度、告警比例阈值以及基础资源使用量的定时预测任务；
所述从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果包括：
监测当前是否满足所述定时预测任务的触发条件；
若满足，则基于所述预测维度，从所述数据库中读取监控数据；
通过所述基础资源使用量预测模型，对读取的监控数据进行预测，以判断在未来指定时间点对应的基础资源使用量是否达到最大可用量，其中，基础资源最大可用量＝当前基础资源总量*告警比例阈值。
6.如权利要求5所述的基础资源容量监管方法，其特征在于，所述基于所述预测结果，进行基础资源容量管理包括：
基于所述预测结果，生成用于衡量基础资源服务器运行状态的预测指标数据；
基于各预测指标数据的数值大小，控制各指标对应的指示灯显示相应颜色，以供基于指示灯的显示颜色监控基础资源服务器的运行状态；
其中，若所述预测结果为在未来指定时间点对应的基础资源使用量达到所述最大可用量，则基于预置通知方式发送基础资源采购通知，以触发基础资源采购流程。
7.如权利要求5或6所述的基础资源容量监管方法，其特征在于，在所述基于所述预测结果，进行基础资源容量管理的步骤之后，还包括：
检测当前基础资源使用量是否达到所述最大可用量；
若是，则触发紧急资源扩充告警，以供通知运维人员通过资源配置页面将备用基础资源补充到基础资源池中。
8.一种基础资源容量监管装置，其特征在于，所述基础资源容量监管装置包括：
监测模块，用于监测消息队列中是否存在产品端推送的多维度的基础资源容量监控数据，其中，产品端基于预置数据采集策略采集多维度的基础资源容量监控数据；
校验模块，用于若消息队列中存在产品端推送的多维度的基础资源容量监控数据，则利用rest_framework框架的serializers和rest_framework_recursive工具构造序列器对所述监控数据进行反序列化的数据校验，并将通过数据校验的监控数据保存到数据库中；
预测模块，用于从所述数据库中读取历史监控数据，并基于所述历史监控数据，进行基础资源使用量预测，得到预测结果；
管理模块，用于基于所述预测结果，进行基础资源容量管理。
9.一种基础资源容量监管设备，其特征在于，所述基础资源容量监管设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基础资源容量监管程序，所述基础资源容量监管程序被所述处理器执行时实现如权利要求1-7中任一项所述的基础资源容量监管方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基础资源容量监管程序，所述基础资源容量监管程序被处理器执行时实现如权利要求1-7中任一项所述的基础资源容量监管方法的步骤。
CN201910525573.9A 2019-06-18 2019-06-18 基础资源容量监管方法、装置、设备及存储介质 Active CN110389876B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910525573.9A CN110389876B (zh) 2019-06-18 2019-06-18 基础资源容量监管方法、装置、设备及存储介质
PCT/CN2019/102548 WO2020252901A1 (zh) 2019-06-18 2019-08-26 基础资源容量监管方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910525573.9A CN110389876B (zh) 2019-06-18 2019-06-18 基础资源容量监管方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110389876A CN110389876A (zh) 2019-10-29
CN110389876B true CN110389876B (zh) 2022-07-19

Family

ID=68285747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910525573.9A Active CN110389876B (zh) 2019-06-18 2019-06-18 基础资源容量监管方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110389876B (zh)
WO (1) WO2020252901A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459410B (zh) * 2020-03-25 2023-08-29 北京三快在线科技有限公司 内存空间分配方法、装置、电子设备及存储介质
CN114143177A (zh) * 2021-12-01 2022-03-04 云赛智联股份有限公司 一种基于数据血缘的业务服务监控系统及监控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904895A (zh) * 2012-10-23 2013-01-30 深圳市汇智集信息科技有限公司 安全认证机制的系统及其安全认证的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635651A (zh) * 2009-08-31 2010-01-27 杭州华三通信技术有限公司 一种网络日志数据管理方法、系统及装置
US8612599B2 (en) * 2011-09-07 2013-12-17 Accenture Global Services Limited Cloud service monitoring system
CN104965861B (zh) * 2015-06-03 2018-06-22 上海新炬网络信息技术股份有限公司 一种数据访问监控装置
CN105162628B (zh) * 2015-08-24 2018-12-18 上海天旦网络科技发展有限公司 快速确定网络合理告警阈值的系统和方法
CN105323111B (zh) * 2015-11-17 2018-08-10 南京南瑞集团公司 一种运维自动化系统及方法
CN106295882A (zh) * 2016-08-10 2017-01-04 国网北京市电力公司 用于预测设备需求的数据处理方法和装置
CN106469107A (zh) * 2016-08-31 2017-03-01 浪潮(北京)电子信息产业有限公司 一种存储资源的容量预测方法及装置
CN106886485B (zh) * 2017-02-28 2020-10-09 深圳市华傲数据技术有限公司 系统容量分析预测方法及装置
CN107231264A (zh) * 2017-07-25 2017-10-03 北京百度网讯科技有限公司 用于管理云服务器的容量的方法和装置
CN108388503A (zh) * 2018-02-13 2018-08-10 中体彩科技发展有限公司 数据库性能监控方法、系统、设备及计算机可读存储介质
CN108920324A (zh) * 2018-06-08 2018-11-30 广东轩辕网络科技股份有限公司 It设备存储容量趋势分析和预警的方法、系统及电子装置
CN109783324B (zh) * 2018-12-11 2022-08-26 平安科技（深圳）有限公司 系统运行预警方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904895A (zh) * 2012-10-23 2013-01-30 深圳市汇智集信息科技有限公司 安全认证机制的系统及其安全认证的方法

Also Published As

Publication number Publication date
WO2020252901A1 (zh) 2020-12-24
CN110389876A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN102081622B (zh) 评估系统健康度的方法及系统健康度评估装置
CN109815094B (zh) 数据表的监控方法、装置、设备及计算机可读存储介质
CN108270618A (zh) 告警判定的方法、装置及告警系统
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN110389876B (zh) 基础资源容量监管方法、装置、设备及存储介质
CN110032451A (zh) 分布式多语言消息实现方法、装置及服务器
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN109902919A (zh) 服务器资产管理方法、装置、设备及可读存储介质
CN112583610B (zh) 系统状态的预测方法、装置、服务器及存储介质
CN115344207A (zh) 数据处理方法、装置、电子设备及存储介质
CN115169634A (zh) 一种任务分配优化处理方法及装置
CN113886006A (zh) 一种资源调度方法、装置、设备及可读存储介质
CN113326061A (zh) 熔断配置修改方法、装置、设备及可读存储介质
CN106777019B (zh) 一种HBase系统的监控方法及监控服务器
CN113535379A (zh) 一种基于物联网的变电边缘计算方法、系统及设备
CN115484167B (zh) 通信网络中的网络切片关断方法、计算机装置及存储介质
CN107277143A (zh) 一种资源匹配管理方法及装置
CN108255710B (zh) 一种脚本的异常检测方法及其终端
CN115774602A (zh) 一种容器资源的分配方法、装置、设备及存储介质
CN115426287A (zh) 一种系统监控和优化方法、装置、电子设备及介质
CN109002381A (zh) 进程通信监控方法、电子装置及计算机可读存储介质
CN104572409A (zh) 应用参数的管理方法、系统及电子装置
CN110399216B (zh) 一种整机箱功耗的分配方法、系统、装置及可读存储介质
CN111211938B (zh) 生物信息软件监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant