CN114924937A - 批量任务处理方法、装置、电子设备及计算机可读介质 - Google Patents

批量任务处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN114924937A
CN114924937A CN202210672762.0A CN202210672762A CN114924937A CN 114924937 A CN114924937 A CN 114924937A CN 202210672762 A CN202210672762 A CN 202210672762A CN 114924937 A CN114924937 A CN 114924937A
Authority
CN
China
Prior art keywords
batch task
historical
preset
preset index
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210672762.0A
Other languages
English (en)
Inventor
刘潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202210672762.0A priority Critical patent/CN114924937A/zh
Publication of CN114924937A publication Critical patent/CN114924937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了批量任务处理方法、装置、电子设备及计算机可读介质，涉及计算机技术领域，该方法包括：接收批量任务处理请求，获取对应的批量任务类型标识，以获取对应的历史批量任务数据；生成历史批量任务分析图像；提取历史批量任务分析图像中的第一深度特征和第二深度特征，以生成历史批量任务画像；根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，基于批量任务标识和预设时间点生成预警信息并输出。实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。

Description

批量任务处理方法、装置、电子设备及计算机可读介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种批量任务处理方法、装置、电子设备及计算机可读介质。
背景技术
分布式批量任务调度的资源处理方法，主要是根据当前任务类型，以及预先配置的任务类型与所需每一类资源及其需求量的关系，确定执行当前类型任务所需的每一类型资源及其需求量。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
源数据量不充分的情况下，会导致对批量任务的预警结果偏差较大。
发明内容
有鉴于此，本申请实施例提供一种批量任务处理方法、装置、电子设备及计算机可读介质，能够解决现有的源数据量不充分的情况下，会导致对批量任务的预警结果偏差较大的问题。
为实现上述目的，根据本申请实施例的一个方面，提供了一种批量任务处理方法，包括：
接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；
基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；
提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；
根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；
响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
可选地，基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像，包括：
基于预设指标，从历史批量任务数据中提取对应的历史预设指标值；
基于预设指标和历史预设指标值，生成历史批量任务分析图像。
可选地，提取历史批量任务分析图像中的第一深度特征和第二深度特征，包括：
提取历史批量任务分析图像中的高层特征以作为第一深度特征；
提取历史批量任务分析图像中的低层特征以作为第二深度特征。
可选地，根据第一深度特征和第二深度特征生成历史批量任务画像，包括：
将第一深度特征和第二深度特征进行融合，以得到融合特征；
根据融合特征生成历史批量任务画像。
可选地，预测在预设时间点与预设指标对应的预设指标值，包括：
将历史批量任务画像和预设时间点输入至长短期记忆网络，以预测与预设指标对应的预设指标值。
可选地，预测与预设指标对应的预设指标值，包括：
根据历史批量任务画像，确定与预设时间点最相近的历史时间点，进而确定历史时间点对应的批量任务上下文信息；
根据历史时间点和批量任务上下文信息，预测在预设时间点与预设指标对应的预设指标值。
可选地，确定与历史时间点对应的批量任务上下文信息，包括：
基于历史任务画像，确定与历史时间点相邻的时间点对应的预设指标信息，进而将预设指标信息确定为批量任务上下文信息。
另外，本申请还提供了一种批量任务处理装置，包括：
接收单元，被配置成接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；
分析图像生成单元，被配置成基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；
画像生成单元，被配置成提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；
预测单元，被配置成根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；
预警单元，被配置成响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
可选地，分析图像生成单元进一步被配置成：
基于预设指标，从历史批量任务数据中提取对应的历史预设指标值；
基于预设指标和历史预设指标值，生成历史批量任务分析图像。
可选地，画像生成单元进一步被配置成：
提取历史批量任务分析图像中的高层特征以作为第一深度特征；
提取历史批量任务分析图像中的低层特征以作为第二深度特征。
可选地，画像生成单元进一步被配置成：
将第一深度特征和第二深度特征进行融合，以得到融合特征；
根据融合特征生成历史批量任务画像。
可选地，预测单元进一步被配置成：
将历史批量任务画像和预设时间点输入至长短期记忆网络，以预测与预设指标对应的预设指标值。
可选地，预测单元进一步被配置成：
根据历史批量任务画像，确定与预设时间点最相近的历史时间点，进而确定历史时间点对应的批量任务上下文信息；
根据历史时间点和批量任务上下文信息，预测在预设时间点与预设指标对应的预设指标值。
可选地，预测单元进一步被配置成：
基于历史任务画像，确定与历史时间点相邻的时间点对应的预设指标信息，进而将预设指标信息确定为批量任务上下文信息。
另外，本申请还提供了一种批量任务处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的批量任务处理方法。
另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的批量任务处理方法。
为实现上述目的，根据本申请实施例的又一个方面，提供了一种计算机程序产品。
本申请实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本申请实施例提供的批量任务处理方法。
上述发明中的一个实施例具有如下优点或有益效果：本申请通过接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请，不构成对本申请的不当限定。其中：
图1是根据本申请一个实施例的批量任务处理方法的主要流程的示意图；
图2是根据本申请一个实施例的批量任务处理方法的主要流程的示意图；
图3是根据本申请一个实施例的批量任务处理方法的应用场景示意图；
图4是根据本申请实施例的批量任务处理装置的主要单元的示意图；
图5是本申请实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
图1是根据本申请一个实施例的批量任务处理方法的主要流程的示意图，如图1所示，批量任务处理方法包括：
步骤S101，接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据。
本实施例中，批量任务处理方法的执行主体(例如，可以是服务器)可以通过有线连接或无线连接的方式，接收批量任务处理请求。批量任务处理请求具体可以是对批量任务进行预警的请求。执行主体在接收到批量任务处理请求后，可以基于该请求中携带的批量任务类型标识获取对应的历史批量任务数据。具体地，批量任务类型标识用于表征批量任务的类型，例如可以是批量任务对应的编号、名称等。通过批量任务标识对应的历史批量任务数据，可以分析得到历史批量任务在被执行时发生预警的条件，例如发生预警的时间、CPU占比、内存占比等信息，从而为后续再次执行相同类型的批量任务时的预警工作做准备。
步骤S102，基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像。
预设指标，例如可以是执行历史批量任务时的CPU占比、内存占比、历史发生预警的时间等，本申请实施例对预设指标的内容不做具体限定。执行主体可以将预设指标作为x轴，将预设指标值作为y轴，构建平面坐标系，进而基于在历史批量任务中的预设指标所对应的预设指标值生成位于该平面坐标系中的历史批量任务分析图像。可以理解的是，历史批量任务分析图像可以是折线图或者饼图，本申请实施例对历史批量任务分析图像的类型不做具体限定。
步骤S103，提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像。
具体地，提取历史批量任务分析图像中的第一深度特征和第二深度特征，包括：提取历史批量任务分析图像中的高层特征以作为第一深度特征；提取历史批量任务分析图像中的低层特征以作为第二深度特征。执行主体可以调用特征提取模型的深层神经网络提取输入的历史批量任务分析图像的高层特征，并作为第一深度特征，调用特征提取模型的浅层神经网络提取输入的历史批量任务分析图像的低层特征，并作为第二深度特征。从而可以分层次地提取历史批量任务分析图像中的图像特征，使得提取的图像特征更精细，提取的图像特征种类更多，从而实现对图像特征的使用效果更好。
具体地，根据第一深度特征和第二深度特征生成历史批量任务画像，包括：将第一深度特征和第二深度特征进行融合，以得到融合特征。具体地，执行主体可以确定第一深度特征的维数和第二深度特征的维数，进而执行主体可以根据第一深度特征、第一深度特征的维数(例如p)、第二深度特征和第二深度特征的维数(例如q)生成融合特征(融合特征的维数例如可以为p+q)。根据融合特征生成历史批量任务画像。第一深度特征为高层特征，第二深度特征为低层特征，执行主体通过将高层特征和低层特征进行融合后得到融合特征，进而根据融合特征生成历史批量任务画像，可以使得生成的历史批量任务画像更精确。特征融合方法能够综合利用多种图像特征，实现多特征的优势互补，从而可以基于融合特征生成更加鲁棒和准确的历史批量任务画像。
步骤S104，根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值。
具体地，预测在预设时间点与预设指标对应的预设指标值，包括：将历史批量任务画像和预设时间点输入至长短期记忆网络，以预测与预设指标对应的预设指标值。
长短期记忆网络，例如可以是CNN-LSTM模型，执行主体基于CNN-LSTM模型来预测批量任务的运行时间，模型输入为从批量任务运行环境中收集到的系统指标(例如历史运行时间，CPU占比，内存占比等，其中，本申请实施例的CPU占比是指在处理批量任务时消耗的CPU资源，内存占比是指在处理批量任务时消耗的内存资源)，利用CNN(卷积神经网络)提取输入的历史批量任务画像的特征，结合LSTM(长短期记忆网络)来支持在预设时间点的序列预测，即预测在预设时间点与预设指标对应的预设指标值，从而基于预测得到的在预设时间点与预设指标对应的预设指标值确定同类型的批量任务在预设时间点是否会发生异常，以便于及时预警，降低损失。
具体地，预测与预设指标对应的预设指标值，包括：
根据历史批量任务画像，确定与预设时间点最相近的历史时间点，进而确定历史时间点对应的批量任务上下文信息。批量任务上下文信息例如可以包括执行该历史批量任务之前是否进行预警、执行该历史批量任务之后是否进行预警、预警时的批量任务运行时间、预警时的CPU占比、预警时的内存占比和预警时长等信息，本申请实施例对批量任务上下文信息不做具体限定。根据历史时间点和批量任务上下文信息，预测在预设时间点与预设指标对应的预设指标值。执行主体可以调用已经训练好的长短期记忆网络以基于与预设时间点最相近的历史时间点和批量任务上下文信息，预测得到在预设时间点与预设指标对应的预设指标值并输出。
作为另一实现方式，确定与历史时间点对应的批量任务上下文信息，包括：基于历史任务画像，确定与历史时间点相邻的时间点对应的预设指标信息，进而将预设指标信息确定为批量任务上下文信息。
步骤S105，响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
当预测得到的在预设时间点的预设指标值超出预设阈值时，表明在执行批量任务请求对应的批量任务时将会在预设时间点发生预警，则执行主体可以提前准备进入预警程序，以提升预警效率，防止出现预警失败的情况，提高执行批量任务时的预警成功率。具体地，执行主体在确定预设指标值大于预设阈值时，可以获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息。预警信息，例如可以为“对批量任务AAA在2022年6月10日上午10点、11点进行预警”并输出该预警信息，本申请实施例对预警信息的内容不做具体限定。
本实施例通过接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。
图2是根据本申请一个实施例的批量任务处理方法的主要流程示意图，如图2所示，批量任务处理方法包括：
步骤S201，接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据。
步骤S202，基于预设指标，从历史批量任务数据中提取对应的历史预设指标值。
执行主体从历史批量任务数据中提取与预设指标对应的历史预设指标值。
步骤S203，基于预设指标和历史预设指标值，生成历史批量任务分析图像。
执行主体可以以预设指标为横坐标x轴，以历史预设指标值为纵坐标y轴，生成平面的散点图，即历史批量任务分析图像，并且在历史批量任务图像上标示出历史发生预警时对应的历史预设指标值，以供执行主体可以快速确定出历史批量任务发生预警时的预设指标以及预设指标值，为后续的预测做好准备。
步骤S204，提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像。
步骤S205，根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值。
步骤S206，响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
本申请实施例可以实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。
图3是根据本申请一个实施例的批量任务处理方法的应用场景示意图。本申请实施例的批量任务处理方法，可以应用于对批量任务进行预警的场景。
首先，获取历史批量任务数据，包括历史批量任务开始时间、批量任务结束时间、CPU使用率、内存使用率和可扩展相关指标。将获取的历史批量任务数据存储入数据库。后续将该部分历史批量任务数据根据以下几个方面进行处理：1.时间方面，根据开始时间，结束时间计算出历史批量任务每天的运行时间，并登记入数据库；2.CPU方面，根据历史批量任务运行时间段，对CPU使用率数据进行汇总，计算平均值、最大值和最小值，并登记CPU使用率超过90％的时间段；3.内存方面，根据历史批量任务运行时间段，对内存使用率数据进行汇总，计算平均值，最大值，最小值，并登记内存使用率超过90％的时间段。以上仅为示例不作为对本申请实施例的限定。如果获取历史批量任务数据失败则退出当前程序。
其次，对该数据进行分析：根据该历史批量任务每周运行时间、每月运行时间、CPU、内存进行分析，登记平均值、最大值等相关数据，预测出下月或者下周该类型的批量任务的运行时间、cpu、内存等。
最后，配置相关阈值，根据批量任务名称配置阈值，阈值的内容包括：批量运行时间(大于1小时报警)，CPU使用率(平均值高于90％报警)，内存使用率(平均值高于90％报警)。
将预测数据与配置的阈值进行比对，具体可以是将预测的内存使用率与对应的阈值进行比对、将预测的CPU使用率与对应的阈值进行比对、将批量任务运行时间与对应的阈值进行比对，超过对应的阈值则返回数据库，登记至预警展示表。可以理解的是，内存使用率、CPU使用率、批量任务运行时间所对应的阈值可以不相同。如果获取配置阈值失败则退出当前程序。
为了实现上述目的，本申请实施例采用了如下技术方案：基于python和Mariadb进行数据分析，需进行如下准备：1)安装python编辑器pycharm，python版本为3.8.8，安装pymysql，pandas，matplotlib模块。2)安装Mariadb，版本为5.5.65，安装驱动程序mariadb-connector-odbc-3.0.2。
本申请实施例可提前预测批量任务的运行时间，系统使用率的相关信息，对有可能超过阈值的信息进行提前预警，保证系统的稳定运行。可减少部分人工监控的工作，提升工作效率。在python获取历史批量任务数据导入到本地数据库后，可根据数据库中的内容进行自动化分析，并生成预测数据，该预测方法会根据月历史批量任务数据、周历史批量任务数据以及每月固定日期的历史批量任务数据进行分析、预测，从而提升工作效率，提升对批量任务进行预警的准确性。本申请实施例所用到的系统均使用开源系统和模块，开发成本低，开发便捷，且后期维护所需工作量不大，可扩展预测指标。使用的系统版本，均为当前的稳定版本，且具有功能开发简单、代码量少、简化重复复杂工作的优点。
图4是根据本申请实施例的批量任务处理装置的主要单元的示意图。如图4所示，批量任务处理装置400包括接收单元401、分析图像生成单元402、画像生成单元403、预测单元404和预警单元405。
接收单元401，被配置成接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据。
分析图像生成单元402，被配置成基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像。
画像生成单元403，被配置成提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像。
预测单元404，被配置成根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值。
预警单元405，被配置成响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
在一些实施例中，分析图像生成单元402进一步被配置成：基于预设指标，从历史批量任务数据中提取对应的历史预设指标值；基于预设指标和历史预设指标值，生成历史批量任务分析图像。
在一些实施例中，画像生成单元403进一步被配置成：提取历史批量任务分析图像中的高层特征以作为第一深度特征；提取历史批量任务分析图像中的低层特征以作为第二深度特征。
在一些实施例中，画像生成单元403进一步被配置成：将第一深度特征和第二深度特征进行融合，以得到融合特征；根据融合特征生成历史批量任务画像。
在一些实施例中，预测单元404进一步被配置成：将历史批量任务画像和预设时间点输入至长短期记忆网络，以预测与预设指标对应的预设指标值。
在一些实施例中，预测单元404进一步被配置成：根据历史批量任务画像，确定与预设时间点最相近的历史时间点，进而确定历史时间点对应的批量任务上下文信息；根据历史时间点和批量任务上下文信息，预测在预设时间点与预设指标对应的预设指标值。
在一些实施例中，预测单元404进一步被配置成：基于历史任务画像，确定与历史时间点相邻的时间点对应的预设指标信息，进而将预设指标信息确定为批量任务上下文信息。
需要说明的是，在本申请批量任务处理方法和批量任务处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
图5示出了可以应用本申请实施例的批量任务处理方法或批量任务处理装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有批量任务处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所提交的批量任务处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。
需要说明的是，本申请实施例所提供的批量任务处理方法一般由服务器505执行，相应地，批量任务处理装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、分析图像生成单元、画像生成单元、预测单元和预警单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备接收批量任务处理请求，获取对应的批量任务类型标识，进而根据批量任务类型标识获取对应的历史批量任务数据；基于预设指标对历史批量任务数据进行处理以生成历史批量任务分析图像；提取历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据第一深度特征和第二深度特征生成历史批量任务画像；根据历史批量任务画像，预测在预设时间点与预设指标对应的预设指标值；响应于预设指标值大于预设阈值，获取批量任务处理请求对应的批量任务标识，进而调用预警程序以基于批量任务标识和预设时间点生成预警信息并输出。
本申请的计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请实施例中的批量任务处理方法。
根据本申请实施例的技术方案，可以实现对有可能超过阈值的预设指标值对应的批量任务进行提前预警，保证任务执行系统的稳定运行，可减少部分人工监控的工作，提升工作效率。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种批量任务处理方法，其特征在于，包括：
接收批量任务处理请求，获取对应的批量任务类型标识，进而根据所述批量任务类型标识获取对应的历史批量任务数据；
基于预设指标对所述历史批量任务数据进行处理以生成历史批量任务分析图像；
提取所述历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据所述第一深度特征和所述第二深度特征生成历史批量任务画像；
根据所述历史批量任务画像，预测在预设时间点与所述预设指标对应的预设指标值；
响应于所述预设指标值大于预设阈值，获取所述批量任务处理请求对应的批量任务标识，进而调用预警程序以基于所述批量任务标识和所述预设时间点生成预警信息并输出。
2.根据权利要求1所述的方法，其特征在于，所述基于预设指标对所述历史批量任务数据进行处理以生成历史批量任务分析图像，包括：
基于预设指标，从所述历史批量任务数据中提取对应的历史预设指标值；
基于所述预设指标和所述历史预设指标值，生成历史批量任务分析图像。
3.根据权利要求1所述的方法，其特征在于，所述提取所述历史批量任务分析图像中的第一深度特征和第二深度特征，包括：
提取所述历史批量任务分析图像中的高层特征以作为第一深度特征；
提取所述历史批量任务分析图像中的低层特征以作为第二深度特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度特征和所述第二深度特征生成历史批量任务画像，包括：
将所述第一深度特征和所述第二深度特征进行融合，以得到融合特征；
根据所述融合特征生成历史批量任务画像。
5.根据权利要求1所述的方法，其特征在于，所述预测在预设时间点与所述预设指标对应的预设指标值，包括：
将所述历史批量任务画像和所述预设时间点输入至长短期记忆网络，以预测与所述预设指标对应的预设指标值。
6.根据权利要求5所述的方法，其特征在于，所述预测与所述预设指标对应的预设指标值，包括：
根据所述历史批量任务画像，确定与所述预设时间点最相近的历史时间点，进而确定所述历史时间点对应的批量任务上下文信息；
根据所述历史时间点和所述批量任务上下文信息，预测在所述预设时间点与所述预设指标对应的预设指标值。
7.根据权利要求6所述的方法，其特征在于，所述确定与所述历史时间点对应的批量任务上下文信息，包括：
基于所述历史任务画像，确定与所述历史时间点相邻的时间点对应的预设指标信息，进而将所述预设指标信息确定为批量任务上下文信息。
8.一种批量任务处理装置，其特征在于，包括：
接收单元，被配置成接收批量任务处理请求，获取对应的批量任务类型标识，进而根据所述批量任务类型标识获取对应的历史批量任务数据；
分析图像生成单元，被配置成基于预设指标对所述历史批量任务数据进行处理以生成历史批量任务分析图像；
画像生成单元，被配置成提取所述历史批量任务分析图像中的第一深度特征和第二深度特征，进而根据所述第一深度特征和所述第二深度特征生成历史批量任务画像；
预测单元，被配置成根据所述历史批量任务画像，预测在预设时间点与所述预设指标对应的预设指标值；
预警单元，被配置成响应于所述预设指标值大于预设阈值，获取所述批量任务处理请求对应的批量任务标识，进而调用预警程序以基于所述批量任务标识和所述预设时间点生成预警信息并输出。
9.根据权利要求8所述的装置，其特征在于，所述分析图像生成单元进一步被配置成：
基于预设指标，从所述历史批量任务数据中提取对应的历史预设指标值；
基于所述预设指标和所述历史预设指标值，生成历史批量任务分析图像。
10.根据权利要求8所述的装置，其特征在于，所述画像生成单元进一步被配置成：
提取所述历史批量任务分析图像中的高层特征以作为第一深度特征；
提取所述历史批量任务分析图像中的低层特征以作为第二深度特征。
11.根据权利要求8所述的装置，其特征在于，所述画像生成单元进一步被配置成：
将所述第一深度特征和所述第二深度特征进行融合，以得到融合特征；
根据所述融合特征生成历史批量任务画像。
12.根据权利要求8所述的装置，其特征在于，所述预测单元进一步被配置成：
将所述历史批量任务画像和所述预设时间点输入至长短期记忆网络，以预测与所述预设指标对应的预设指标值。
13.根据权利要求12所述的装置，其特征在于，所述预测单元进一步被配置成：
根据所述历史批量任务画像，确定与所述预设时间点最相近的历史时间点，进而确定所述历史时间点对应的批量任务上下文信息；
根据所述历史时间点和所述批量任务上下文信息，预测在所述预设时间点与所述预设指标对应的预设指标值。
14.一种批量任务处理电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210672762.0A 2022-06-15 2022-06-15 批量任务处理方法、装置、电子设备及计算机可读介质 Pending CN114924937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210672762.0A CN114924937A (zh) 2022-06-15 2022-06-15 批量任务处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210672762.0A CN114924937A (zh) 2022-06-15 2022-06-15 批量任务处理方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN114924937A true CN114924937A (zh) 2022-08-19

Family

ID=82813735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210672762.0A Pending CN114924937A (zh) 2022-06-15 2022-06-15 批量任务处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114924937A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质

Similar Documents

Publication Publication Date Title
CN107809331B (zh) 识别异常流量的方法和装置
CN112527649A (zh) 一种测试用例的生成方法和装置
CN111600772B (zh) 网络分发内容检测处理装置、方法、系统及电子设备
CN110955640B (zh) 跨系统数据文件的处理方法、装置、服务器和存储介质
CN111062572B (zh) 任务分配的方法和装置
CN109428926B (zh) 一种调度任务节点的方法和装置
CN114924937A (zh) 批量任务处理方法、装置、电子设备及计算机可读介质
CN112685481B (zh) 一种数据处理方法和装置
CN117193980A (zh) 任务剩余时长的计算方法和装置
CN109933508B (zh) 用于发送信息的方法和装置
CN111831503B (zh) 一种基于监控代理的监控方法和监控代理装置
CN112948138A (zh) 一种处理消息的方法和装置
CN112667368A (zh) 一种任务数据处理方法和装置
CN116204428A (zh) 一种测试用例生成方法和装置
CN114064403A (zh) 一种任务延迟分析处理方法和装置
CN114723455A (zh) 业务处理方法、装置、电子设备和存储介质
CN114612212A (zh) 一种基于风险控制的业务处理方法、装置和系统
CN116933189A (zh) 一种数据检测方法和装置
CN114417318A (zh) 第三方页面的跳转方法、装置和电子设备
CN109087097B (zh) 一种更新链码同一标识的方法和装置
CN113064620A (zh) 一种处理系统数据的方法和装置
CN113157911A (zh) 一种服务验证方法和装置
CN112925623A (zh) 任务处理方法、装置、电子设备和介质
CN111178696A (zh) 一种业务处理时长超时预警方法和装置
CN112749204A (zh) 一种读取数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination