CN113420911A - 一种耗时预测方法、装置及存储介质 - Google Patents

一种耗时预测方法、装置及存储介质 Download PDF

Info

Publication number
CN113420911A
CN113420911A CN202110620968.4A CN202110620968A CN113420911A CN 113420911 A CN113420911 A CN 113420911A CN 202110620968 A CN202110620968 A CN 202110620968A CN 113420911 A CN113420911 A CN 113420911A
Authority
CN
China
Prior art keywords
data
batch
time
running
consuming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110620968.4A
Other languages
English (en)
Inventor
张艺蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202110620968.4A priority Critical patent/CN113420911A/zh
Publication of CN113420911A publication Critical patent/CN113420911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的实施例公开一种耗时预测方法、装置及存储介质,涉及数据处理技术领域。能够解决现有技术中对耗时的预测准确度较低的问题。该方法包括:获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征预设时间段的交易情况以及资源使用情况。利用自适应算法,基于处理器的实时运行数据修正第一批量数据,生成批量优化数据。根据批量优化数据,确定运行第一批量数据的耗时。本发明实施例应用于网络系统。

Description

一种耗时预测方法、装置及存储介质
技术领域
本发明的实施例涉及数据处理技术领域,尤其涉及一种耗时预测方法、装置及存储介质。
背景技术
银行生产运维活动主要分为联机交易操作的运行维护和批量操作的运行维护。其中,批量操作的运行维护中的监控维护是很重要的一环。虽然,数据的集中处理,大大降低了系统运行成本,但是随之而来的问题就是系统处理的效率和生产运行的安全性问题。随着业务的迅速发展,后台批量操作的处理时间呈现阶跃式上升,特别是一些特殊时间点(月结、季结、年终决算,以及大客户交易日)的批量运行效率已经开始出现较为明显的问题,批量操作超时现象时有发生,甚至有影响系统切日、业务正常开门营业的风险,对系统的平稳运行带来了一定的安全隐患,对于运维工作也提出了新的挑战。因此对批量操作的耗时进行监控预估,使维护人员提前了解耗时情况,以便及时做好相应的应急处理,显得十分必要。
现有技术中通常采用历史平均法来提前了解耗时情况。但此方法只适用于交易量较小和交易较为稳定的情况。当交易量过大、交易不稳定或者影响因素较多的情况时,历史平均法对耗时的预测准确度就较低。
发明内容
本发明提供一种耗时预测方法、装置及存储介质,能够解决现有技术中对耗时的预测准确度较低的问题。
为达到上述目的,本发明采用如下技术方案:
第一方面,提供一种耗时预测方法,该方法包括:获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征预设时间段的交易情况以及资源使用情况。利用自适应算法,基于处理器的实时运行数据修正第一批量数据,生成批量优化数据。根据批量优化数据,确定运行第一批量数据的耗时。
基于上述方法,利用自适应算法的参数少、收敛速度较快而且易于实现的优势,基于处理器的实时运行数据修正预设时间段的第一批量数据,使其生成的批量优化数据更加贴合实际。使得最终根据批量优化数据确定的运行第一批量数据的耗时更加准确。
第二方面,提供一种耗时预测装置,该装置包括:
获取单元,用于获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征预设时间段的交易情况以及资源使用情况。
处理单元,用于利用自适应算法,基于处理器的实时运行数据修正获取单元获取的第一批量数据,生成批量优化数据。
处理单元,还用于根据批量优化数据,确定运行第一批量数据的耗时。
可以理解地,上述提供的耗时预测装置用于执行上文所提供的第一方面对应的方法,因此,其所能达到的有益效果可参考上文第一方面对应的方法以及下文具体实施方式中对应的方案的有益效果,此处不再赘述。
第三方面,提供了一种耗时预测装置,该耗时预测装置的结构中包括处理器,处理器用于执行程序指令,使得该耗时预测装置执行第一方面的方法。
第四方面,提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序代码,当计算机程序代码在耗时预测装置上运行时,使得该耗时预测装置执行上述第一方面的方法。
第五方面,提供一种计算机程序产品,该计算机程序产品储存有上述计算机软件指令,当计算机软件指令在耗时预测装置上运行时,使得该耗时预测装置执行如上述第一方面的方法的程序。
附图说明
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种耗时预测系统的结构示意图;
图2为本发明实施例提供的一种通信装置的结构示意图;
图3为本发明实施例提供的一种耗时预测方法的流程示意图之一;
图4为本发明实施例提供的一种耗时预测方法的流程示意图之二;
图5为本发明实施例提供的一种支持向量回归算法的分类效果示意图;
图6为本发明实施例提供的一种耗时预测装置的结构示意图之一;
图7为本发明实施例提供的耗时预测方法的计算机程序产品的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
还需要说明的是,本发明实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
在本申请的实施例中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
首先,本申请实施例进行详细地解释说明之前,先对本公开实施例涉及到的一些名词进行解释。
批量
即批处理任务,以大数据量的文件或数据库数据作为输入,以作业形式启动的大数据量的一系列数据访问、计算、分析、汇总等批处理操作,表现出数据访问量大、计算量大、流程复杂等特性。一般分为日间批量和日终批量。
其中,日间批量,处理大批数据时,如果采用联机交易,通常会产生超时现象,同时对核心服务压力也很大,因此采用前台(客户端)通过联机交易调用日间批量,让数据处理通过批量服务去完成,而不是核心联机服务,稍后前台再通过交易查询处理结果,比如中间业务(各种代收付)的入账、回单等等。
日终批量,联机状态切换后进行的各种账务处理(比如结息)、登记簿、日结单等等,业务办理的数据先暂时保存在本地或本机,当积累到一定数量时,再连接主机或将存贮介质带到主机的所在地,把数据一次性倒入进行处理,它通常用于不便或不能联机处理的业务,比如通讯条件不足,安全性不充分等,其输出是各种报表,也可以是各种数据清理和数据备份任务。联机后的批量处理一般在联机系统空闲(夜间)时段内调用一组程序来完成,以尽量减少联机系统资源的占用。
回归分析
回归分析研究自变量和因变量之间关系的一种预测模型技术。目标是寻找一个函数来比较准确地预测将来的目标值。
支持向量回归(support vector regression,SVR)
支持向量回归是支持向量机(Support Vector Machine,SVM)的重要的应用分支。支持向量机(SVM)可用于模式分类及非线性回归。主要思想是建立一个分类超平面作为决策曲面,使得正样例和负样例之间的隔离边缘最大化,其理论基础是统计学理论,是结构风险最小化的近似实现。它具有通用性、鲁棒性、有效性、计算简单以及理论完善等优点,不要求具体的函数形式,可以获得非线性系统的输出变量(如批量运行时间)和输入变量(如交易量大小、系统资源状况等)之间的复杂关系。支持向量回归是SVM在回归预测问题中的进一步延伸。
由于现有技术中通常采用历史平均法来提前了解耗时情况。但此方法只适用于交易量较小和交易较为稳定的情况。当交易量过大、交易不稳定或者影响因素较多的情况时,历史平均法对耗时的预测准确度就较低。
为了解决上述问题,本申请实施例提供一种耗时预测方法。
如图1所示,本申请实施例提供一种耗时预测系统,该耗时预测系统可以包括耗时预测装置01以及处理器02。其中,耗时预测装置01可以具备该耗时预测装置所有功能的的服务器或者终端,也可以作为独立的设备进行设置。亦可以是能够支持耗时预测装置实现该功能的装置,例如芯片系统。本申请实施例对耗时预测装置01在实现形式上不作任何限定。
处理器02可以是中央处理器(central processing unit,CPU),亦可以是一般的处理器。处理器02主要用于运行处理批量数据
这里,本发明实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
可选的,本申请实施例所提及的设备,例如耗时预测装置01以及处理器02等,均可以由图2所示的通信装置20来实现。
如图2所示,该装置20包括至少一个处理器201,通信线路202,存储器203以及至少一个通信接口204。
处理器201可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路202可包括一通路,在上述组件之间传送信息。
通信接口204,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器203可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路202与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器203用于存储执行本申请方案的计算机执行指令,并由处理器201来控制执行。处理器201用于执行存储器203中存储的计算机执行指令,从而实现本申请下述实施例提供的耗时预测方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器201可以包括一个或多个CPU,例如图2中的CPU0和CPU1。
在具体实现中,作为一种实施例,装置200可以包括多个处理器,例如图2中的处理器201和处理器207。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,装置200还可以包括输出设备205和输入设备206。输出设备205和处理器201通信,可以以多种方式来显示信息。例如,输出设备205可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备206和处理器201通信,可以以多种方式接收用户的输入。例如,输入设备206可以是鼠标、键盘、触摸屏设备或传感设备等。
以下结合具体实施例,对本申请实施例所提的方法进行详细介绍。
参照图3,本申请实施例提供的一种耗时预测方法具体包括以下步骤。
S31、耗时预测装置获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征预设时间段的交易情况以及资源使用情况。
示例性的,第一批量数据包括但不限于以下所示出的至少一项:柜面交易、网上银行交易、各种自助渠道交易以及批处理业。
处理器的实时运行数据包括但不限于以下所示出的至少一项:CPU使用率、内存空间资源使用率。
S32、耗时预测装置利用自适应算法,基于处理器的实时运行数据修正第一批量数据,生成批量优化数据。
在实际应用中,由于处理器的实时运行数据可能存在偏差,导致其处理批量数据的时间不同,为了针对第一批量数据获取更准确的耗时,根据处理器的实时运行数据,利用自适应算法对第一批量数据进行修正调整,以获取处理器实时处理第一批量数据所需要的实际耗时。
另外,为了提高耗时预测的准确率,S32之前还包括:采用正则表达式对第一批量数据进行数据特征匹配,生成特征样本。并对特征样本进行降维处理,生成训练样本。
S33、耗时预测装置根据批量优化数据,确定运行第一批量数据的耗时。
在一种实现方式中,参照图4,S33具体包括:
S331、耗时预测装置将批量优化数据输入至基于支持向量回归算法训练的回归模型中,生成运行第一批量数据的耗时。
实际中,支持向量回归是一种具有较强的学习能力和泛化能力的学习模型,在很多领域被应用,能够被应用于批量耗时模型的预测。该方法可操作性强,预测准确度高,能够应用于工程实际,适用于小样本问题,可在有限样本的情况下获得全局最优解。它的基本思想是利用函数Φ将训练数据从低维空间映射到更高维的空间,以类间空白最大化为目的,在特征空间中构造一个分类超平面。给定一组训练向量数据xi|Rd,i=1,2…,h,其中h表示训练样本的个数。yi=±1表示类标签,即一类用+1表示,另一类用-1表示。SVM将寻找一个超平面法方向w和截距b,使得正实例满足f(x)=wΦ(x)+b≥0,负实例满足f(x)=wΦ(x)+b<0。许多情形下,在输入空间中找不到一个线性函数可以很好地分类训练数据,但往往可以找到一个超平面将训练数据按类别分开。
示例性的,如图5所示,假定正方形(属于系列2)和菱形(属于系列1)分别代表不同的两类数据,在针对原始输入点集空间图所示的输入空间中,找不到一个线性函数可以将两类数据分割,若将数据映射到如映射后特征点集空间图所示的更高维度的特征空间,则可以找到一个线性函数将两类数据分割开。分割超平面的选择力求最大化类间空白,而类间空白的最大化可以大大提高预测准确率。
其中,回归模型的确定方法,包括:
1)获取历史时间段内至少一个预设周期的第二批量数据以及运行第二批量数据的耗时;一个预设周期的第二批量数据与运行第二批量数据的耗时一一对应。
2)对第二批量数据以及运行第二批量数据的耗时进行预处理,获取训练样本;训练样本包括样本集以及样本集的标注值;样本集包括预处理后的第二批量数据;标注值包括预处理后的运行第二批量数据的耗时。
3)将样本集基于支持向量回归算法,确定预测值。
4)根据标注值以及预测值,生成回归模型。
因此,最终生成的回归模型的形式如下:
f(x)=wΦ(x)+b
其中,所述f(x)表示运行批量数据的耗时;
Figure BDA0003099860700000081
表示将x映射后的特征向量,x表示所述批量数据;w和b表示所述模型参数。
在本实现方式中,利用支持向量回归算法训练获得的回归模型对批量数据的耗时进行预测,能够大大提高耗时预测的准确度。
在一种实现方式中,为了提高耗时预测的准确率,S32之前还包括:采用正则表达式对第二批量数据以及运行第二批量数据的耗时进行数据特征匹配,生成特征样本。并对特征样本进行降维处理,生成训练样本。
进一步的,可以对于银行后台交易系统中的交易系统信息(即第二批量数据)进行清洗和去噪,以便高效地提取有效信息。通过抽取有用的信息包括如:运行第二批量数据的耗时、系统状态量、当前交易情况等。可以形成需要预测的训练样本。具体的,原始的交易系统信息中包含很多对预测无用的“噪声”信息。在数据预处理中根据银行数据格式使用正则式表达式进行特征匹配。以便去除无关信息、填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清洗”,完成数据格式标准化、异常数据清除、错误纠正及重复数据的清除等工作,生成特征样本。之后对特征样本进行归约来对数据进行特征降维,生成最终的训练样本,以便减少后续过程的计算量。
本发明实施例可以根据上述方法实施例对耗时预测装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图6所示,为本发明实施例提供的一种耗时预测装置01的结构示意图。该耗时预测装置01具体包括获取单元601以及处理单元602。
获取单元601,用于获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征预设时间段的交易情况以及资源使用情况。例如,结合图3,获取单元601可以用于执行S31。
处理单元602,用于利用自适应算法,基于处理器的实时运行数据修正获取单元601获取的第一批量数据,生成批量优化数据。例如,结合图3,处理单元602可以用于执行S32。
处理单元602,还用于根据批量优化数据,确定运行第一批量数据的耗时。例如,结合图3,处理单元602可以用于执行S33。
在一种可能的实现方案中,处理单元602,具体用于将批量优化数据输入至基于支持向量回归算法训练的回归模型中,生成运行第一批量数据的耗时。
在一种可能的实现方案中,的第二批量数据以及运行第二批量数据的耗时;一个预设周期的第二批量数据与运行第二批量数据的耗时一一对应。
处理单元602,用于对获取单元601获取的第二批量数据以及运行第二批量数据的耗时进行预处理,获取训练样本;训练样本包括样本集以及样本集的标注值;样本集包括预处理后的第二批量数据;标注值包括预处理后的运行第二批量数据的耗时。
处理单元602,还用于将样本集基于支持向量回归算法,确定预测值。
处理单元602,还用于根据标注值以及预测值,生成回归模型。
在一种可能的实现方案中,处理单元602,具体用于采用正则表达式对第二批量数据以及运行第二批量数据的耗时进行数据特征匹配,生成特征样本。
处理单元602,还用于对特征样本进行降维处理,生成训练样本。
在一种可能的实现方案中,回归模型的形式如下:
f(x)=wΦ(x)+b
其中,f(x)表示运行批量数据的耗时;
Figure BDA0003099860700000101
表示将x映射后的特征向量,x表示批量数据;w和b表示模型参数。
当然,本发明实施例提供的耗时预测装置01包括但不限于上述模块,例如耗时预测装置01还可以包括存储单元603。存储单元603可以用于存储该耗时预测装置01的程序代码,还可以用于存储耗时预测装置01在运行过程中生成的数据,如写请求中的数据等。
图7示意性地示出本发明实施例提供的计算机程序产品的概念性局部视图,所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中,计算机程序产品是使用信号承载介质410来提供的。所述信号承载介质410可以包括一个或多个程序指令,其当被一个或多个处理器运行时可以提供以上针对图3描述的功能或者部分功能。因此,例如,参考图3中所示的实施例,S31-S33的一个或多个特征可以由与信号承载介质410相关联的一个或多个指令来承担。此外,图7中的程序指令也描述示例指令。
在一些示例中,信号承载介质410可以包含计算机可读介质411,诸如但不限于,硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等等。
在一些实施方式中,信号承载介质410可以包含计算机可记录介质412,诸如但不限于,存储器、读/写(R/W)CD、R/W DVD、等等。
在一些实施方式中,信号承载介质410可以包含通信介质413,诸如但不限于,数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路、等等)。
信号承载介质410可以由无线形式的通信介质413(例如,遵守IEEE802.41标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是,例如,计算机可执行指令或者逻辑实施指令。
在一些示例中,诸如针对图6描述的耗时预测装置可以被配置为,响应于通过计算机可读介质411、计算机可记录介质412、和/或通信介质413中的一个或多个程序指令,提供各种操作、功能、或者动作。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何在本发明揭露的技术范围内的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种耗时预测方法,其特征在于,包括:
获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征所述预设时间段的交易情况以及资源使用情况;
利用自适应算法,基于所述处理器的实时运行数据修正所述第一批量数据,生成批量优化数据;
根据所述批量优化数据,确定运行第一批量数据的耗时。
2.根据权利要求1所述的耗时预测方法,其特征在于,所述根据所述批量优化数据,确定所述批量数据运行的耗时,包括:
将所述批量优化数据输入至基于支持向量回归算法训练的回归模型中,生成运行所述第一批量数据的耗时。
3.根据权利要求2所述的耗时预测方法,其特征在于,所述回归模型的确定方法,包括:
获取历史时间段内至少一个预设周期的第二批量数据以及运行所述第二批量数据的耗时;所述一个预设周期的第二批量数据与运行所述第二批量数据的耗时一一对应;
对所述第二批量数据以及运行所述第二批量数据的耗时进行预处理,获取训练样本;所述训练样本包括样本集以及所述样本集的标注值;所述样本集包括预处理后的所述第二批量数据;所述标注值包括预处理后的运行所述第二批量数据的耗时;
将所述样本集基于支持向量回归算法,确定预测值;
根据所述标注值以及所述预测值,生成所述回归模型。
4.根据权利要求3所述的耗时预测方法,其特征在于,所述对所述至少一个预设周期的第二批量数据以及运行所述第二批量数据的耗时进行预处理,生成训练样本,包括:
采用正则表达式对所述第二批量数据以及运行所述第二批量数据的耗时进行数据特征匹配,生成特征样本;
对所述特征样本进行降维处理,生成所述训练样本。
5.根据权利要求3所述的耗时预测方法,其特征在于,所述回归模型的形式如下:
f(x)=wΦ(x)+b
其中,所述f(x)表示运行批量数据的耗时;
Figure FDA0003099860690000021
表示将x映射后的特征向量,x表示所述批量数据;w和b表示所述模型参数。
6.一种耗时预测装置,其特征在于,包括:
获取单元,用于获取预设时间段的第一批量数据以及处理器的实时运行数据;批量数据至少用于表征所述预设时间段的交易情况以及资源使用情况;
处理单元,用于利用自适应算法,基于所述处理器的实时运行数据修正所述获取单元获取的所述第一批量数据,生成批量优化数据;
所述处理单元,还用于根据所述批量优化数据,确定运行第一批量数据的耗时。
7.根据权利要求6所述的耗时预测装置,其特征在于,
所述处理单元,具体用于将所述批量优化数据输入至基于支持向量回归算法训练的回归模型中,生成运行所述第一批量数据的耗时。
8.根据权利要求7所述的耗时预测装置,其特征在于,
所述获取单元,具体用于获取历史时间段内至少一个预设周期的第二批量数据以及运行所述第二批量数据的耗时;所述一个预设周期的第二批量数据与运行所述第二批量数据的耗时一一对应;
所述处理单元,用于对所述获取单元获取的所述第二批量数据以及运行所述第二批量数据的耗时进行预处理,获取训练样本;所述训练样本包括样本集以及所述样本集的标注值;所述样本集包括预处理后的所述第二批量数据;所述标注值包括预处理后的运行所述第二批量数据的耗时;
所述处理单元,还用于将所述样本集基于支持向量回归算法,确定预测值;
所述处理单元,还用于根据所述标注值以及所述预测值,生成所述回归模型。
9.根据权利要求8所述的耗时预测装置,其特征在于,
所述处理单元,具体用于采用正则表达式对所述第二批量数据以及运行所述第二批量数据的耗时进行数据特征匹配,生成特征样本;
所述处理单元,还用于对所述特征样本进行降维处理,生成所述训练样本。
10.根据权利要求8所述的耗时预测装置,其特征在于,所述回归模型的形式如下:
f(x)=wΦ(x)+b
其中,所述f(x)表示运行批量数据的耗时;
Figure FDA0003099860690000031
表示将x映射后的特征向量,x表示所述批量数据;w和b表示所述模型参数。
11.一种耗时预测装置,其特征在于,所述耗时预测装置的结构中包括处理器,所述处理器用于执行程序指令,使得所述耗时预测装置执行如权利要求1-5任一项所述的耗时预测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序代码,当所述计算机程序代码在耗时预测装置上运行时,使得所述耗时预测装置执行如权利要求1-5任一项所述的耗时预测方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品储存有计算机软件指令,当所述计算机软件指令在耗时预测装置上运行时,使得所述耗时预测装置执行如权利要求1-5任一项所述的耗时预测方法。
CN202110620968.4A 2021-06-03 2021-06-03 一种耗时预测方法、装置及存储介质 Pending CN113420911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110620968.4A CN113420911A (zh) 2021-06-03 2021-06-03 一种耗时预测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110620968.4A CN113420911A (zh) 2021-06-03 2021-06-03 一种耗时预测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113420911A true CN113420911A (zh) 2021-09-21

Family

ID=77713860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110620968.4A Pending CN113420911A (zh) 2021-06-03 2021-06-03 一种耗时预测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113420911A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971552A (zh) * 2021-10-26 2022-01-25 中电金信软件有限公司 一种批量数据处理方法、装置、设备以及存储介质
CN114816711A (zh) * 2022-05-13 2022-07-29 湖南长银五八消费金融股份有限公司 批量任务处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971552A (zh) * 2021-10-26 2022-01-25 中电金信软件有限公司 一种批量数据处理方法、装置、设备以及存储介质
CN114816711A (zh) * 2022-05-13 2022-07-29 湖南长银五八消费金融股份有限公司 批量任务处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US10715393B1 (en) Capacity management of computing resources based on time series analysis
CN113420911A (zh) 一种耗时预测方法、装置及存储介质
US11900162B2 (en) Autonomous application management for distributed computing systems
US11449809B2 (en) Application capacity forecasting
CN111192144A (zh) 一种金融数据预测方法、装置、设备及存储介质
US20150186907A1 (en) Data mining
CN111177250A (zh) 一种异常交易监测方法、系统及存储介质
US20230259831A1 (en) Real-time predictions based on machine learning models
US20200402156A1 (en) Liquidity management system
US11790278B2 (en) Determining rationale for a prediction of a machine learning based model
CN111767127A (zh) 一种业务数据处理方法和装置
US8924343B2 (en) Method and system for using confidence factors in forming a system
CN114503132A (zh) 机器学习模型训练的调试和剖析
US11636377B1 (en) Artificial intelligence system incorporating automatic model updates based on change point detection using time series decomposing and clustering
CN113902377A (zh) 车辆监管数据的处理方法、系统、电子设备和存储介质
CN113342558A (zh) 批量业务异常处理方法、装置、计算机设备和存储介质
CN112561368B (zh) 一种oa审批系统的可视化业绩计算方法及装置
CN112766552B (zh) 优化互联网架构的方法、装置和电子设备
US20230325846A1 (en) Systems and methods for accessing distributed service systems to surface insights for a user
US20230305892A1 (en) Performance protected autonomous application management for distributed computing systems
CN118314401A (zh) 目标标注类型确定方法、装置、计算机设备及存储介质
CN110597871B (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
US20240112156A1 (en) Optimizing ledger usage and liquidation operations thereon
US20210311787A1 (en) System and method for state management of devices
CN115033279A (zh) 代码标注方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination