CN115409211A - 运维处理方法、运维处理装置、电子设备及存储介质 - Google Patents

运维处理方法、运维处理装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115409211A
CN115409211A CN202211053735.1A CN202211053735A CN115409211A CN 115409211 A CN115409211 A CN 115409211A CN 202211053735 A CN202211053735 A CN 202211053735A CN 115409211 A CN115409211 A CN 115409211A
Authority
CN
China
Prior art keywords
series data
time
time series
prediction
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211053735.1A
Other languages
English (en)
Inventor
简拥军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211053735.1A priority Critical patent/CN115409211A/zh
Publication of CN115409211A publication Critical patent/CN115409211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种运维处理方法，可应用于人工智能以及云计算技术领域。该方法，包括：根据存储于数据库中的第一时间序列数据，确定预测模型；从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；对第三时间序列数据进行解析，得到解析结果；在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；将第四时间序列数据输入预测模型，输出预测结果；以及在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。本公开还提供了一种运维处理装置、电子设备、存储介质和程序产品。

Description

运维处理方法、运维处理装置、电子设备及存储介质
技术领域
本公开涉及人工智能以及云计算技术领域，具体涉及一种运维处理方法、运维处理装置、电子设备、存储介质和程序产品。
背景技术
随着计算机技术的快速发展与应用以及各企业对业务的不断扩展，使涉及到的集群设备的运维处理工作受到影响。当集群规模扩大到成千上万台设备后，传统采用纯手工运维会面临人力成本高，效率低，不太可控等问题。
虽然业界一直在探索自动化运维和智能运维，希望以此来解决大规模集群的运维处理问题，但是在实施本公开的过程中发现，针对运行设备的运维处理，需要对具体某一种时序数据进行预测以及运维处理，导致运维处理成本高以及运维处理效率低。
发明内容
鉴于上述问题，本公开提供了一种运维处理方法、运维处理装置、电子设备、存储介质和程序产品。
根据本公开的第一个方面，提供了一种运维处理方法，包括：
根据存储于数据库中的第一时间序列数据，确定预测模型，其中，第一时间序列数据表征运行设备的实时运行情况；
从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；
对第三时间序列数据进行解析，得到解析结果；
在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；
将第四时间序列数据输入预测模型，输出预测结果；以及
在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。
根据本公开的实施例，根据存储于数据库中的第一时间序列数据，确定预测模型，包括：
从第一时间序列数据中获取第二预设时间段内产生的第五时间序列数据；
在确定模型库中不存在第五时间序列数据需要训练的训练模型的情况下，根据时间序列算法模型，确定初始训练模型，其中，模型库用于实时存储训练模型；以及
根据第五时间序列数据和目标函数训练初始训练模型，将训练好的初始训练模型作为预测模型，其中，目标函数根据初始训练模型确定。
根据本公开的实施例，第一时间序列数据是实时更新的；
根据存储于数据库中的第一时间序列数据，确定预测模型，还包括：
在确定模型库中存在第五时间序列数据需要训练的训练模型的情况下，选取训练模型进行训练，并将训练好的训练模型作为预测模型。
根据本公开的实施例，运维处理方法，还包括：
从运行设备上获取实时时间序列数据；
将实时时间序列数据同步存储于消息队列中，得到第二时间序列数据；以及
将实时时间序列数据存储于数据库中，得到第一时间序列数据。
根据本公开的实施例，预测模型包括M个线性结构函数，M为大于等于2的整数；
将第四时间序列数据输入预测模型，输出预测结果，包括：
将第四时间序列数据依次输入M个线性结构函数，输出M个预测子结果；以及
根据M个预测子结果，得到预测结果，其中，预测结果表征运行设备的未来运行情况。
根据本公开的实施例，线性结构函数包括K个拟合函数，K为大于等于2的整数；
将第四时间序列数据依次输入M个线性结构函数，输出M个预测子结果，包括：
针对每个线性结构函数，重复执行以下步骤：
将第四时间序列数据输入一个拟合函数，分别输出第一结果和第二结果；其中，第一结果用于确定预测子结果，第二结果用于确定另一个拟合函数的输入；以及
根据K个拟合函数的用于确定预测子结果的K个输出，确定线性结构函数的输出。
本公开的第二方面提供了一种运维处理装置，包括：
第一确定模块，用于根据存储于数据库中的第一时间序列数据，确定预测模型，其中，第一时间序列数据表征运行设备的实时运行情况；
读取模块，用于从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；
解析模块，用于对第三时间序列数据进行解析，得到解析结果；
第一获取模块，用于在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；
预测模块，用于将第四时间序列数据输入预测模型，输出预测结果；以及
第二确定模块，用于在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。
本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述运维处理方法。
本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述运维处理方法。
本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述运维处理方法。
根据本公开的实施例，通过利用表征运行设备的实时运行情况的第一时间序列数据，确定预测模型；以及通过对缓存在本地队列的时间序列数据的解析，来确定满足预测条件后，基于构造的深度学习模型对时间序列数据的预测，无需针对运行设备的具体某一种实时运行情况的数据进行运维处理，也无需对具体某一种实时运行情况的数据都进行单独预测，提高了预测模型的泛化能力和学习自由度，降低了模型设计的成本，还适用于对多种实时运行情况数据预测后根据预测结果进行运维处理，提高了运维处理效率，解决了运维处理不及时导致的不可控的损失问题，节约了运维处理成本，一定程度满足了大规模集群设备的运维处理需求。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的运维处理方法、运维处理装置、电子设备、存储介质和程序产品的应用场景图；
图2示意性示出了根据本公开实施例的运维处理方法的流程图；
图3示意性示出了根据本公开实施例的预测模型结构图；
图4示意性示出了根据本公开另一实施例的运维处理方法的架构图；
图5示意性示出了根据本公开实施例的运维处理装置的结构框图；以及
图6示意性示出了根据本公开实施例的适于实现运维处理方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在本公开实施例的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
在实施本公开的过程中发现，针对运行设备的运维处理，需要对具体某一种时序数据进行预测以及运维处理，进行预测时需要对每种时序数据都进行预测，存在设计成本高，泛化能力差等问题，进而导致运维处理成本高以及运维处理效率低。
本公开的实施例提供了一种运维处理方法，包括：根据存储于数据库中的第一时间序列数据，确定预测模型，其中，第一时间序列数据表征运行设备的实时运行情况；从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；对第三时间序列数据进行解析，得到解析结果；在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；将第四时间序列数据输入预测模型，输出预测结果；以及在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。
图1示意性示出了根据本公开实施例的运维处理方法、运维处理装置、电子设备、存储介质和程序产品的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的运维处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的运维处理装置一般可以设置于服务器105中。本公开实施例所提供的运维处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的运维处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
本公开实施例所提供的运维处理方法也可以由终端设备101、102、103执行。相应地，本公开实施例所提供的运维处理装置一般也可以设置于终端设备101、102、103中。本公开实施例所提供的运维处理方法也可以由不同于终端设备101、102、103的其他终端执行。相应地，本公开实施例所提供的运维处理装置也可以设置于不同于终端设备101、102、103的其他终端中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景，通过图2～图4对公开实施例的运维处理方法进行详细描述。
图2示意性示出了根据本公开实施例的运维处理方法的流程图。
如图2所示，该实施例的运维处理方法200包括操作S201～操作S206。
在操作S201，根据存储于数据库中的第一时间序列数据，确定预测模型，其中，第一时间序列数据表征运行设备的实时运行情况。
根据本公开的实施例，运行设备的实时运行情况可以包括：运行设备的CPU使用率、IO读写速率、带宽以及内存使用量等情况。运行设备在运行的过程中可以将运行情况实时的存储于数据库。存储于数据库中的第一时间序列数据可以是带有时间标识的CPU使用率、IO读写速率、带宽以及内存使用量等时间序列数据。
根据本公开的实施例，可以通过调用数据库中的第一时间序列数据中的数据进行训练模型，将训练好的模型作为预测模型。训练模型时可以选择时间序列算法作为初始模型进行训练。其中时间序列算法可以不做具体限定。
在操作S202，从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中。
根据本公开的实施例，第二时间序列数据和第三时间序列数据均可以表征运行设备的实时运行情况。存储于消息队列中的第二时间序列数据可以是带有时间标识并且按照时间标识排序的CPU使用率、IO读写速率、带宽以及内存使用量等时间序列数据。可以通过将运行设备的实时运行情况数据同步写入消息队列，然后通过从消息队列中读取实时运行情况数据缓存入本地队列。
在操作S203，对第三时间序列数据进行解析，得到解析结果。
根据本公开实施例，可以通过将本地队列中缓存的第三时间序列按照预设解析规则进行解析，得到解析结果。其中，预设解析规则可以根据预测条件确定。预测条件可以根据实际运行设备所运行业务的要求以及结合实际预测经验确定。
例如，预测条件可以包括：预测所需的本地缓存数据量、预测周期以及预测模型。预设解析规则可以根据预测所需的本地缓存数据量、预测周期以及预测所需模型确定。可以通过解析第三时间序列数据的数据量，得到第一子解析结果。通过解析针对第三时间序列数据的本次预测距离上次预测的时间，得到第二子解析结果。通过解析针对第三时间序列数据的所需预测模型，得到第三子解析结果。
在操作S204，在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据。
根据本公开实施例，第一预设时段可以根据本地队列中的第三时间序列数据的时间标识确定。
例如，可以通过第一子解析结果、第二子解析结果以及第三子解析结果得到解析结果。若第一子解析结果满足预测所需的本地缓存数据量、第二子解析结果满足预测周期以及第三子解析结果满足预测模型的情况下，可以确定解析结果表征满足预测条件。
在操作S205，将第四时间序列数据输入预测模型，输出预测结果。
根据本公开实施例，可以将上述操作S204获取的第四时间序列数据输入上述操作S201确定的预测模型，输出预测结果。其中，预测结果可以标征未来一段时间内的时间序列数据。
在操作S206，在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。
根据本公开实施例，可以根据运行设备所运行业务的实际运行情况预先确定预设时限。若确定的预测模型的有效期限在预设时限内，且有效期限较预设时限有一定时间段，可以通过对预测结果的解析，确定运行设备的运维处理策略。若确定的预测模型的有效期限不在预设时限内，或者有效期限较预设时限很近，可以重新确定预测模型后再进行重复上述操作。
根据本公开实施例，通过利用表征运行设备的实时运行情况的第一时间序列数据，确定预测模型；以及通过对缓存在本地队列的时间序列数据的解析，来确定满足预测条件后，基于构造的深度学习模型对时间序列数据的预测，无需针对运行设备的具体某一种实时运行情况的数据进行运维处理，也无需对具体某一种实时运行情况的数据都进行单独预测，提高了预测模型的泛化能力和学习自由度，降低了模型设计的成本，还适用于对多种实时运行情况数据预测后根据预测结果进行运维处理，提高了运维处理效率，解决了运维处理不及时导致的不可控的损失问题，节约了运维处理成本，一定程度满足了大规模集群设备的运维处理需求。
根据本公开的实施例，根据存储于数据库中的第一时间序列数据，确定预测模型，可以包括：
从第一时间序列数据中获取第二预设时间段内产生的第五时间序列数据；在确定模型库中不存在第五时间序列数据需要训练的训练模型的情况下，根据时间序列算法模型，确定初始训练模型，其中，模型库用于实时存储训练模型；以及根据第五时间序列数据和目标函数训练初始训练模型，将训练好的初始训练模型作为预测模型，其中，目标函数根据初始训练模型确定。
根据本公开实施例，第二预设时间段可以根据存储于数据库中的第一时间序列数据的时间标识确定。在利用第五时间序列数据进行初次训练时，可以确定模型库中不存在其需要训练的训练模型。可以根据时间序列算法模型，确定初始训练模型。通过将第五时间序列数据输入初始训练模型后，输出模型学习结果。将模型学习结果与目标函数进行拟合，在不断的迭代训练后模型达到收敛，保存模型参数，将此时的模型作为训练好的初始训练模型。可以将该训练好的初始训练模型存储于模型库，以便用于为与第五时间序列数据相同或者相似类型的数据直接提供训练模型。
需要说明的是，可以实时更新存储于数据库中的第一时间序列数据，可以根据实时更新后的第一时间序列数据，按照预设训练周期进行增量训练模型，实时更新预测模型。
根据本公开实施例，通过确定模型库不存在对应时间序列数据的训练模型的情况下，选取时间序列算法模型进行训练，通过训练得到的预测模型，不仅学习自由度高，泛化能力强，预测效果好；而且通过实时存储训练模型到模型库，能够降低重复设计模型的成本。
根据本公开的实施例，第一时间序列数据是实时更新的。
其中，根据存储于数据库中的第一时间序列数据，确定预测模型，还可以包括：在确定模型库中存在第五时间序列数据需要训练的训练模型的情况下，选取训练模型进行训练，并将训练好的训练模型作为预测模型。
根据本公开实施例，如果存在模型库中存储的训练模型可以表征针对与第五时间序列数据相同或者相似类型的数据设计的训练模型的情况下，可以确定模型库中存在第五时间序列数据需要训练的训练模型。可以直接加载模型库中的该训练模型进行训练。
根据本公开实施例，通过确定模型库中存在对应时间序列数据的训练模型，适用于多种相同或者相似类型的时间序列数据，无需基于具体数据重新构造模型，节约了重复设计模型的成本，进而降低了运维处理的成本。
根据本公开的另一实施例，运维处理方法，除可以包括上述操作S201～操作S206之外，还可以包括：
从运行设备上获取实时时间序列数据；将实时时间序列数据同步存储于消息队列中，得到第二时间序列数据；以及将实时时间序列数据存储于数据库中，得到第一时间序列数据。
根据本公开实施例，通过把运行设备上获取的实时时间序列数据同步到消息队列，由于消息队列的存储会按时间存储，方便之后进行读取解析。把运行设备上获取的实时时间序列数据存储于数据库，方便数据的调用，调用后用于训练模型，进而确定预测模型。
根据本公开的实施例，预测模型可以包括M个线性结构函数，M为大于等于2的整数。
其中，将第四时间序列数据输入预测模型，输出预测结果，可以包括：将第四时间序列数据依次输入M个线性结构函数，输出M个预测子结果；以及根据M个预测子结果，得到预测结果，其中，预测结果表征运行设备的未来运行情况。
根据本公开实施例，可以通过选取包括M个线性结构函数的时间序列算法模型进行训练得到预测模型。根据M个预测子结果，得到预测结果可以包括将M个预测子结果叠加后得到预测结果。可以根据运行设备的未来运行情况，确定针对运行设备的运维处理策略。
根据本公开的实施例，线性结构函数可以包括K个拟合函数，K为大于等于2的整数。
将第四时间序列数据依次输入M个线性结构函数，输出M个预测子结果，可以包括：针对每个线性结构函数，重复执行以下步骤：将第四时间序列数据输入一个拟合函数，分别输出第一结果和第二结果；其中，第一结果用于确定预测子结果，第二结果用于确定另一个拟合函数的输入；以及根据K个拟合函数的用于确定预测子结果的K个输出，确定线性结构函数的输出。
图3示意性示出了根据本公开实施例的预测模型结构图。
如图3所示，线性结构函数可以包括Stack函数。拟合函数可以包括Block函数。每个Block函数可以由多个全连接层组成，通过多层全连接进行时间序列数据分解，每层拟合时间序列数据一部分信息。每个Block函数可以包含两个主要部分，第一个部分将输入的时间序列数据映射成扩展系数，第二部分将扩展系数映射回时间序列数据。其中，扩展系数可以理解为存储了时间序列数据内在的信息形成的一个低维向量。第k个Block的第一部分运算可用以下公式(1)～(6)表示：
hk,1＝FCk,1(xk) (1)
hk,2＝FCk,2(hk,1) (2)
hk,3＝FCk,3(hk,2) (3)
hk,4＝FCk,4(hk,3) (4)
Figure BDA0003821407000000121
Figure BDA0003821407000000122
其中，hk,1、hk,2、hk,3、hk,4分别表示第k个Block的第1～4层全连接层的输出；FCk,1、FCk,2、FCk,3、FCk,4分别表示第k个Block的第1～4层全连接层的计算函数；xk表示第k个Block的第1层全连接层的输入；
Figure BDA0003821407000000123
表示第k个Block的Backcast信息函数；
Figure BDA0003821407000000124
表示第k个Block的Forecast信息函数。
对于全连接层的计算，例如，可以将hk,1表示为如下公式(7)：
hk,1＝RELU(Wk,1xk+bk,1) (7)
其中，Wk,1，bk,1均表示第k个Block的第1层全连接层的参数。
第k个Block的第二部分运算是将扩展系数映射成输出，其运算操作可表示为如下公式(8)～(9)：
Figure BDA0003821407000000125
Figure BDA0003821407000000126
其中，i表示全连接层的层数；
Figure BDA0003821407000000127
表示第k个Block对未来时间序列数据的预测，
Figure BDA0003821407000000128
表示第k个Block对输入时间序列数据的评估；
Figure BDA0003821407000000129
表示第i层全连接层的针对Forecast信息函数的参数；
Figure BDA00038214070000001210
表示第i层全连接层的针对Backcast信息函数的参数。
根据本公开实施例，通过确定的预测模型，不仅学习自由度高，泛化能力强，预测效果好，而且根据预测结果可以满足大规模集群设备的运维处理需求，降低人工成本，提高运维处理效率，加强运维处理的可控性。
图4示意性示出了根据本公开另一实施例的运维处理方法的架构图。
如图4所示，该实施例的运维处理方法可以通过接入模块从运行设备上采集运行情况数据，将其同步写入消息队列和异步写入数据库。
训练模块可以从数据库实时获取时间序列数据，通过判断针对该时间序列数据所需训练模型是否存在后确定是创建模型还是接入模型。如果模型不存在，那么需要重新创建模型，然后训练模型，将训练好的模型作为预测模型。
预测模块从消息队列中读取时间序列数据，存入本地队列并进行解析，在解析结果满足预测条件的情况下，预测模块调用训练模块得到的预测模型进行模型预测。在解析结果不满足预测条件的情况下，重新从消息队列读入新的时间序列数据，存入本地队列并进行重新解析，直至达到满足预测条件的情况结束。在模型预测完毕后进行判断预测模型是否满足预设时限。在预测模型不满足预设时限的条件下，再次启动训练，利用训练模块进行训练后，将重新预测得到的预测结果写入消息队列，供第三方应用读取预测结果，并下发到应用程序，以及根据该预测结果确定运行设备的运维处理策略。在预测模型满足预设时限的情况下，将预测结果写入消息队列，供第三方应用读取预测结果，并下发到应用程序，以及根据该预测结果确定运行设备的运维处理策略。其中，可以利用模型库进行实时存储训练模块。
根据本公开的实施例，预测条件可以根据实际运行设备所运行业务的要求以及结合实际预测经验确定。可以根据运行设备所运行业务的实际运行情况预先确定预设时限。若确定的预测模型的有效期限在预设时限内，且有效期限较预设时限有一定时间段，可以通过对预测结果的解析，确定运行设备的运维处理策略。若确定的预测模型的有效期限不在预设时限内，或者有效期限较预设时限很近，可以重新训练模型得到预测模型后再次进行预测，并利用该预测模型对模型库中不满足的预测模型进行更新。
需要说明的是，本公开实施例的运维处理方法中的具体操作方法可以根据以上实施例的方法得到，在此不再赘述。
根据本公开的实施例，基于深度学习方法，实现了时间序列数据端到端的训练，学习自由度高，泛化能力强，预测效果好。基于深度学习构造的针对时间序列数据的模型、模型训练、模型更新等一体化运维过程，无需针对具体某一时间序列数据进行运维处理，适用于多种时间序列数据，提高了运维处理过程的泛化能力。无需基于某一时间序列数据重新构造训练、预测、更新等步骤，降低了设计成本。通过本公开的运维处理方法可以满足大规模集群设备的运维处理需求，降低了人工成本，提高了运维处理效率和可控性。
基于上述运维处理方法，本公开还提供了一种运维处理装置。以下将结合图5对该装置进行详细描述。
图5示意性示出了根据本公开实施例的运维处理装置的结构框图。
如图5所示，该实施例的运维处理装置500包括第一确定模块510、读取模块520、解析模块530、第一获取模块540、预测模块550和第二确定模块560。
第一确定模块510用于根据存储于数据库中的第一时间序列数据，确定预测模型，其中，第一时间序列数据表征运行设备的实时运行情况。在一实施例中，第一确定模块510可以用于执行前文描述的操作S201，在此不再赘述。
读取模块520用于从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中。在一实施例中，读取模块520可以用于执行前文描述的操作S202，在此不再赘述。
解析模块530用于对第三时间序列数据进行解析，得到解析结果。在一实施例中，解析模块530可以用于执行前文描述的操作S203，在此不再赘述。
第一获取模块540用于在确定解析结果表征满足预测条件的情况下，从本地队列中的第三时间序列数据中获取第一预设时段内产生的第四时间序列数据。在一实施例中，第一获取模块540可以用于执行前文描述的操作S204，在此不再赘述。
预测模块550用于将第四时间序列数据输入预测模型，输出预测结果。在一实施例中，预测模块550可以用于执行前文描述的操作S205，在此不再赘述。
第二确定模块560用于在确定预测模型满足预设时限的情况下，根据预测结果，确定运行设备的运维处理策略。在一实施例中，第二确定模块560可以用于执行前文描述的操作S206，在此不再赘述。
根据本公开的实施例，运维处理装置500还可以包括第二获取模块、第三获取模块和第四获取模块。
第二获取模块用于从运行设备上获取实时时间序列数据。
第三获取模块用于将实时时间序列数据同步存储于消息队列中，得到第二时间序列数据。
第四获取模块用于将实时时间序列数据存储于数据库中，得到第一时间序列数据。
根据本公开的实施例，第一确定模块510、读取模块520、解析模块530、第一获取模块540、预测模块550和第二确定模块560中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一确定模块510、读取模块520、解析模块530、第一获取模块540、预测模块550和第二确定模块560中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一确定模块510、读取模块520、解析模块530、第一获取模块540、预测模块550和第二确定模块560中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现运维处理方法的电子设备的方框图。
如图6所示，根据本公开实施例的电子设备600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。
在该计算机程序被处理器601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种运维处理方法，包括：
根据存储于数据库中的第一时间序列数据，确定预测模型，其中，所述第一时间序列数据表征运行设备的实时运行情况；
从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；
对所述第三时间序列数据进行解析，得到解析结果；
在确定所述解析结果表征满足预测条件的情况下，从所述本地队列中的所述第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；
将所述第四时间序列数据输入所述预测模型，输出预测结果；以及
在确定所述预测模型满足预设时限的情况下，根据所述预测结果，确定所述运行设备的运维处理策略。
2.根据权利要求1所述的方法，所述根据存储于数据库中的第一时间序列数据，确定预测模型，包括：
从所述第一时间序列数据中获取第二预设时间段内产生的第五时间序列数据；
在确定模型库中不存在所述第五时间序列数据需要训练的训练模型的情况下，根据时间序列算法模型，确定初始训练模型，其中，所述模型库用于实时存储所述训练模型；以及
根据所述第五时间序列数据和目标函数训练所述初始训练模型，将训练好的初始训练模型作为所述预测模型，其中，所述目标函数根据所述初始训练模型确定。
3.根据权利要求2所述的方法，其中，所述第一时间序列数据是实时更新的；
所述方法还包括：
在确定所述模型库中存在所述第五时间序列数据需要训练的所述训练模型的情况下，选取所述训练模型进行训练，并将训练好的训练模型作为所述预测模型。
4.根据权利要求1所述的方法，还包括：
从所述运行设备上获取实时时间序列数据；
将所述实时时间序列数据同步存储于所述消息队列中，得到所述第二时间序列数据；以及
将所述实时时间序列数据存储于所述数据库中，得到所述第一时间序列数据。
5.根据权利要求1所述的方法，其中，所述预测模型包括M个线性结构函数，M为大于等于2的整数；
所述将所述第四时间序列数据输入所述预测模型，输出预测结果，包括：
将所述第四时间序列数据依次输入M个所述线性结构函数，输出M个预测子结果；以及
根据M个所述预测子结果，得到预测结果，其中，所述预测结果表征运行设备的未来运行情况。
6.根据权利要求5所述的方法，其中，所述线性结构函数包括K个拟合函数，K为大于等于2的整数；
将所述第四时间序列数据依次输入M个所述线性结构函数，输出M个预测子结果，包括：
针对每个所述线性结构函数，重复执行以下步骤：
将所述第四时间序列数据输入一个所述拟合函数，分别输出第一结果和第二结果；其中，所述第一结果用于确定所述预测子结果，所述第二结果用于确定另一个所述拟合函数的输入；以及
根据K个所述拟合函数的所述用于确定所述预测子结果的K个输出，确定所述线性结构函数的输出。
7.一种运维处理装置，包括：
第一确定模块，用于根据存储于数据库中的第一时间序列数据，确定预测模型，其中，所述第一时间序列数据表征运行设备的实时运行情况；
读取模块，用于从存储于消息队列中的第二时间序列数据中，读取第三时间序列数据，并缓存入本地队列中；
解析模块，用于对所述第三时间序列数据进行解析，得到解析结果；
第一获取模块，用于在确定所述解析结果表征满足预测条件的情况下，从所述本地队列中的所述第三时间序列数据中获取第一预设时段内产生的第四时间序列数据；
预测模块，用于将所述第四时间序列数据输入所述预测模型，输出预测结果；以及
第二确定模块，用于在确定所述预测模型满足预设时限的情况下，根据所述预测结果，确定所述运行设备的运维处理策略。
8.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～6中任一项所述的方法。
CN202211053735.1A 2022-08-29 2022-08-29 运维处理方法、运维处理装置、电子设备及存储介质 Pending CN115409211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211053735.1A CN115409211A (zh) 2022-08-29 2022-08-29 运维处理方法、运维处理装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211053735.1A CN115409211A (zh) 2022-08-29 2022-08-29 运维处理方法、运维处理装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115409211A true CN115409211A (zh) 2022-11-29

Family

ID=84163941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211053735.1A Pending CN115409211A (zh) 2022-08-29 2022-08-29 运维处理方法、运维处理装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115409211A (zh)

Similar Documents

Publication Publication Date Title
US11620532B2 (en) Method and apparatus for generating neural network
CN110852438B (zh) 模型生成方法和装置
US11915123B2 (en) Fusing multimodal data using recurrent neural networks
US20240127795A1 (en) Model training method, speech recognition method, device, medium, and apparatus
CN112861662B (zh) 基于人脸和交互文本的目标对象行为预测方法及相关设备
CN112015562A (zh) 基于迁移学习的资源分配方法、装置及电子设备
US20220414689A1 (en) Method and apparatus for training path representation model
CN112017062B (zh) 基于客群细分的资源额度分配方法、装置及电子设备
CN113610230A (zh) 训练方法、预测方法、装置、计算机系统及存储介质
US20210049414A1 (en) Deep graph de-noise by differentiable ranking
CN115438232A (zh) 知识图谱构建方法及装置、电子设备、存储介质
CN115936895A (zh) 基于人工智能的风险评估方法、装置、设备及存储介质
CN114462532A (zh) 模型训练方法、预测交易风险的方法、装置、设备及介质
CN113159934A (zh) 一种网点客流量的预测方法、系统、电子设备及存储介质
CN109978594B (zh) 订单处理方法、装置及介质
CN116720489B (zh) 页面填充方法及装置、电子设备和计算机可读存储介质
CN116450723A (zh) 数据提取方法、装置、计算机设备及存储介质
CN113723712B (zh) 风电功率预测方法、系统、设备及介质
CN115409211A (zh) 运维处理方法、运维处理装置、电子设备及存储介质
US20180130077A1 (en) Automated selection and processing of financial models
CN112906723A (zh) 一种特征选择的方法和装置
CN117573123B (zh) 应用于网页应用的页面生成方法、装置和电子设备
CN113902567B (zh) 执行任务的方法、装置和电子设备
CN111709787B (zh) 用于生成用户留存时间的方法、装置、电子设备和介质
CN117745336A (zh) 客户流失预测方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination