CN113159957A - 一种交易处理方法及装置 - Google Patents
一种交易处理方法及装置 Download PDFInfo
- Publication number
- CN113159957A CN113159957A CN202110532029.4A CN202110532029A CN113159957A CN 113159957 A CN113159957 A CN 113159957A CN 202110532029 A CN202110532029 A CN 202110532029A CN 113159957 A CN113159957 A CN 113159957A
- Authority
- CN
- China
- Prior art keywords
- processing
- transaction
- system performance
- historical
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Abstract
本发明实施例提供了一种交易处理方法及装置,该方法包括对交易请求进行分类,确定出交易请求所属的第一处理等级,针对每个处理组件,确定处理组件的当前系统性能参数,并确定具有多个不同分段的历史系统性能参数。从具有多个不同分段的历史系统性能参数中,确定出与当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定处理组件所属的第二处理等级,将第一处理等级与M个第二处理等级进行匹配,确定出用于处理交易请求的处理组件。如此,可以使得各交易请求都能被分配到最匹配的交易处理组件中,可以提高交易处理系统的处理资源利用率,并使得各处理组件的负载能更加均衡,从而可以提高交易处理系统的整体处理性能。
Description
技术领域
本发明实施例涉及金融科技(Fintech)领域,尤其涉及一种交易处理方法及装置。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,但由于金融行业的安全性、实时性要求,也对技术提出的更高的要求。在金融领域,针对线上联机交易,经常会发生交易超时的场景。一批交易超时的请求中,通常是由于个别交易出现性能下降,在交易队列中等待时间过长,占用过多资源,导致整个队列中所有交易响应过长。
现有方案主要通过机器学习分类算法,根据交易报文中Key值数目、Value值数目、报文的数据结构以及交易读写情况、调用链路等信息,分析交易请求报文,从而将交易请求分类成快读交易、快写交易、慢读交易、慢写交易。同时,将交易处理队列分为快队列、快写对列、慢读对列、慢写队列,并将交易处理线程分为快读线程、快写线程、慢读线程、慢写线程。如此,通过对交易请求、交易队列、交易线程分类,将对应的交易请求分发到对应的交易处理队列和交易处理线程中,以提升系统的整体性能。然而,由于系统性能是实时变化的,因此可能会出现快队列变为慢队列的情况,但是该方案依然将快读交易或快写交易分配到变为慢队列的快队列中,导致快读交易或快写交易无法匹配到最适合的队列,从而使得系统的整体性能仍然存在下降的问题。
综上,目前亟需一种交易处理方法,用以提高交易处理系统的整体处理性能。
发明内容
本发明实施例提供了一种交易处理方法及装置,用以提高交易处理系统的整体处理性能。
第一方面,本发明实施例提供了一种交易处理方法,适用于具有M个处理组件的交易处理系统,其中,每个处理组件包括一一对应的处理队列和处理线程,所述方法包括:
对交易请求进行分类,确定出所述交易请求所属的第一处理等级;
针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数;
针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数;
从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级;
将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
上述技术方案中,通过对交易请求进行分类,确定出交易请求所属的第一处理等级,并针对每个处理组件,确定出处理组件的当前系统性能参数,以及确定出具有多个不同分段的历史系统性能参数。再从具有多个不同分段的历史系统性能参数中,确定出与当前系统性能参数匹配的历史系统性能参数,从而可以准确地确定出处理组件所属的第二处理等级。如此以多个不同分段的历史系统性能参数为参照基准,将每个处理组件映射到不同分段中,可以使得所确定出的各处理组件所属的第二处理等级更加精准,也更加符合实际需要,以此可实现对交易请求进行有效且合理地处理。然后,将第一处理等级与M个第二处理等级进行匹配,可确定出用于处理交易请求的最佳处理组件,以便该交易请求能够被分配到最适合处理该交易请求的处理组件中进行处理。基于此,采用该方案可以使得各交易请求都能被分配到与其最匹配的交易处理组件中,以使各交易请求都能被及时地处理,如此,可以实现交易请求与处理组件的动态匹配,并可以提高交易处理系统的处理资源利用率,以避免交易处理系统中出现处理资源利用不均匀的情况,同时也可以使得各处理组件的负载更加均衡,以避免交易处理系统中出现一些处理组件负载较大,一些处理组件负载较小的情况,从而可以提高交易处理系统的整体处理性能。
可选地,所述确定出所述处理组件的当前系统性能参数,包括:
针对任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,得到所述参数对应的当前系统性能参数;
所述确定具有多个不同分段的历史系统性能参数,包括:
针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,得到所述参数对应的不同分段的历史系统性能参数。
上述技术方案中,针对每个处理组件,通过对该处理组件对应的每个参数在当前时段内的多个采集值进行分段归一化均值处理,可以使得所确定出的该处理组件的当前系统性能参数更加符合该处理组件的当前处理性能,也更能代表该处理组件的当前处理性能,并可以避免该处理组件的一些当前参数采集值出现异常而影响该处理组件真实的当前处理性能。此外,通过对每个参数在不同时段的历史采集值进行分段处理,可确定出具有多个不同分段的历史系统性能参数,即,确定出交易处理系统在历史不同时段内所具有的多个不同处理性能状况(交易处理系统具有多个不同类的处理等级),该多个不同处理性能状况更能代表交易系统的真实处理性能,以便为确定每个处理组件的当前处理等级提供基准参照支持。
可选地,对所述多个采集值进行分段,包括:
通过不同区间分段规则对所述多个采集值进行N种分段策略;
针对任一种分段策略,确定出所述分段策略下各分段的采集值;针对每个分段的采集值,通过设定的最大熵规则对所述分段的采集值进行处理,确定所述分段对应的最大熵;根据各分段对应的最大熵,确定所述分段策略的最大熵;
从各分段策略中确定出最小的最大熵对应的分段策略,并按照所述最小的最大熵对应的分段策略对所述多个采集值进行分段。
上述技术方案中,通过设定的最大熵规则对分段的采集值进行处理,可以及时准确地确定出各分段对应的最大熵,并基于最大熵可以及时地确定出最佳的分段策略,以便基于该最佳的分段策略对多个采集值进行合理且准确地分段。
可选地,通过下述方式对每个第一分段值或每个第二分段值进行归一化处理:
其中,Pi-j表示任一第一分段值或任一第二分段值对应的归一化值,Seg表示最小的最大熵对应的分段策略的分段数,Pi-j(VX)表示任一第一分段值或任一第二分段值,Pmax表示最大的第一分段值或最大的第二分段值。
可选地,所述从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,包括:
针对每个分段的历史系统性能参数,确定所述处理组件的当前系统性能参数与所述分段的历史系统性能参数的相似度;
将各相似度进行比对,确定出最大相似度,并将所述最大相似度对应的分段的历史系统性能参数确定为与所述当前系统性能参数匹配的历史系统性能参数。
上述技术方案中,通过将每个处理组件映射到对应的分段中,可以使得各处理组件在同一条件场景中(即都在交易处理系统的历史处理性能场景中,都以历史系统性能参数作为参照基准)进行处理等级的划分,可以使得各处理组件所属的处理等级的划分更加符合真实,也更加精准,同时也使得每个处理组件所属的处理等级更加符合该处理组件的当前实际处理性能。
可选地,所述根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级,包括:
根据设定的参数系数以及所述匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级。
上述技术方案中,通过依据各参数对交易处理系统的影响程度,设置对应的参数系数,如此,基于设定的参数系数以及匹配的历史系统性能参数,可以使得所确定出的处理组件所属的处理等级更加符合实际,也更加准确。
可选地,所述当前系统性能参数或所述历史系统性能参数包括以下至少一项:系统处理能力TPS、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量和网络吞吐量。
上述技术方案中,通过实时采集当前系统性能参数以及采集历史系统性能参数,可以为后续确定每个处理组件所属的处理等级提供数据支持。
可选地,在将所述第一处理等级与M个第二处理等级进行匹配之前,还包括:
确定所述交易请求所属的交易类型是否属于历史交易记录中第三处理等级对应的交易类型;所述第三处理等级对应的交易类型是根据所述M个处理组件在历史交易请求的处理过程中所产生的交易性能数据进行统计分析确定出的;
若是,则在确定所述第一处理等级与所述第三处理等级不一致时,将所述第一处理等级更新为所述第三处理等级;所述第三处理等级低于所述第一处理等级。
上述技术方案中,由于分类处理所确定的交易请求所属的第一处理等级不一定完全正确,因此,可通过统计第三处理等级对应的交易类型,并对分类处理所确定的交易请求所属的第一处理等级进行进一步地确认,以便在交易请求所属的交易类型属于历史交易记录中第三处理等级对应的交易类型,且第一处理等级与第三处理等级不一致时,确认分类处理所确定的交易请求所属的第一处理等级是不正确的,从而能够及时地对交易请求所属的第一处理等级进行更改,以便后续能够及时准确地将交易请求分配到最合适的处理组件中。
可选地,所述对交易请求进行分类,确定出所述交易请求所属的第一处理等级,包括:
通过交易请求分类模型对所述交易请求进行识别,确定出所述交易请求所属的第一处理等级;所述交易请求分类模型是基于标注了处理等级的样本交易请求数据集对预设的分类模型进行训练确定的。
上述技术方案中,通过交易请求分类模型对交易请求进行识别,可以及时准确地识别出交易请求所属的第一处理等级,以便为后续确定处理该交易请求所需的处理组件提供支持。
第二方面,本发明实施例还提供了一种交易处理装置,适用于具有M个处理组件的交易处理系统,其中,每个处理组件包括一一对应的处理队列和处理线程,所述装置包括:
分类单元,用于对交易请求进行分类,确定出所述交易请求所属的第一处理等级;
处理单元,用于针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数;针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数;从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级;将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
可选地,所述处理单元具体用于:
针对任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,得到所述参数对应的当前系统性能参数;
所述处理单元具体用于:
针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,得到所述参数对应的不同分段的历史系统性能参数。
可选地,所述处理单元具体用于:
通过不同区间分段规则对所述多个采集值进行N种分段策略;
针对任一种分段策略,确定出所述分段策略下各分段的采集值;针对每个分段的采集值,通过设定的最大熵规则对所述分段的采集值进行处理,确定所述分段对应的最大熵;根据各分段对应的最大熵,确定所述分段策略的最大熵;
从各分段策略中确定出最小的最大熵对应的分段策略,并按照所述最小的最大熵对应的分段策略对所述多个采集值进行分段。
可选地,所述处理单元具体用于:
通过下述方式对每个第一分段值或每个第二分段值进行归一化处理:
其中,Pi-j表示任一第一分段值或任一第二分段值对应的归一化值,Seg表示最小的最大熵对应的分段策略的分段数,Pi-j(VX)表示任一第一分段值或任一第二分段值,Pmax表示最大的第一分段值或最大的第二分段值。
可选地,所述处理单元具体用于:
针对每个分段的历史系统性能参数,确定所述处理组件的当前系统性能参数与所述分段的历史系统性能参数的相似度;
将各相似度进行比对,确定出最大相似度,并将所述最大相似度对应的分段的历史系统性能参数确定为与所述当前系统性能参数匹配的历史系统性能参数。
可选地,所述处理单元具体用于:
根据设定的参数系数以及所述匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级。
可选地,所述处理单元具体用于:
所述当前系统性能参数或所述历史系统性能参数包括以下至少一项:系统处理能力TPS、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量和网络吞吐量。
可选地,所述处理单元还用于:
在将所述第一处理等级与M个第二处理等级进行匹配之前,确定所述交易请求所属的交易类型是否属于历史交易记录中第三处理等级对应的交易类型;所述第三处理等级对应的交易类型是根据所述M个处理组件在历史交易请求的处理过程中所产生的交易性能数据进行统计分析确定出的;
若是,则在确定所述第一处理等级与所述第三处理等级不一致时,将所述第一处理等级更新为所述第三处理等级;所述第三处理等级低于所述第一处理等级。
可选地,所述分类单元具体用于:
通过交易请求分类模型对所述交易请求进行识别,确定出所述交易请求所属的第一处理等级;所述交易请求分类模型是基于标注了处理等级的样本交易请求数据集对预设的分类模型进行训练确定的。
第三方面,本发明实施例提供一种计算设备,包括至少一个处理器以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行上述第一方面任意所述的交易处理方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述第一方面任意所述的交易处理方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交易处理系统架构的示意图;
图2为本发明实施例提供的一种交易处理方法的流程示意图;
图3为本发明实施例提供的一种交易与队列匹配模块确定用于处理交易请求的处理组件的流程示意图;
图4为本发明实施例提供的一种基于不同区间分段规则处理系统性能数据的示意图;
图5为本发明实施例提供的一种交易处理装置的结构示意图;
图6为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面首先对本发明实施例中涉及的部分用语进行解释说明,以便于本领域技术人员进行理解。
(1)机器学习:专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
(2)分类算法:机器学习领域中,通过已有数据集(训练集)的学习,得到一个目标函数(机器学习模型),再把每个属性集映射到目标属性上。常用的分类算法包括决策树、贝叶斯分类算法、卷积神经网络、k-近邻、支持向量机等。
(3)联机交易:一般指的是外界触发产生的单笔交易,要求响应速度快,实时性能好,处理单一类型的交易,比如存取款等联机交易。
(4)交易响应时间:指用户从客户端发起一个请求开始,到客户端接收到从服务器端返回的响应结束,整个过程所耗费的时间。
(5)系统处理能力(Transactions Per Second,TPS):系统每秒处理交易数,单位是笔/秒。
(6)并发用户数(Number of virtual users,VU):指在同一时刻内,登录系统并进行业务操作的用户数量。在测试中,采用虚拟用户来模拟现实中用户进行业务操作。
(7)错误率(False Rate,FR):指系统在负载情况下,失败交易的概率。错误率=(失败交易数/交易总数)*100%。稳定性较好的系统,其错误率应该由超时引起,即为超时率。
如上介绍了本发明实施例中涉及的部分用语,下面对本发明实施例涉及的技术特征进行介绍。
为了便于理解本发明实施例,首先以图1中示出的系统结构为例说明适用于本发明实施例的交易处理系统架构。该交易处理系统架构可以应用于处理线上联机交易等。如图1所示,该交易处理系统架构可以包括用户端100和交易处理系统200。其中,交易处理系统200可以与用户端100进行连接,比如,可以通过有线方式连接,或者可以通过无线方式连接,本发明实施例对此并不作限定。其中,该交易处理系统200中可以包括机器学习分类模块201、交易与队列匹配模块202和交易处理模块203,机器学习分类模块201与交易与队列匹配模块202进行通信连接,以及交易与队列匹配模块202与交易处理模块203进行通信连接,比如,可以通过有线方式连接,或者可以通过无线方式连接,本发明实施例对此并不作限定。其中,交易处理模块203可以包括至少一组处理队列和处理线程,比如处理队列1和处理线程1、处理队列2和处理线程2、处理队列3和处理线程3以及处理队列4和处理线程4等。
具体地,机器学习分类模块201在接收到用户端100提交的交易请求后,通过机器学习分类算法(比如朴素贝叶斯、支持向量机、卷积神经网络等)对交易请求进行识别,确定出交易请求所属的处理等级,比如最快处理等级、较快处理等级、较慢处理等级、最慢处理等级等。然后,将交易请求的分类结果(即交易请求所属的处理等级)发送给交易与队列匹配模块202。交易与队列匹配模块202在接收到机器学习分类模块201发送的交易请求的分类结果时,实时获取交易处理模块203所采集的监控数据(包括系统性能数据和交易性能数据),并根据实时获取的监控数据确定出各处理队列当前所属的处理等级。再将交易请求所属的处理等级与各处理队列当前所属的处理等级进行匹配,确定出用于处理交易请求的最佳处理队列以及最佳处理线程。然后,将该交易请求分配到对应的最佳处理队列中,以便对应的最佳处理线程对该交易请求进行处理。示例性地,假设该交易请求所属的处理等级与处理队列1所属的处理等级匹配,则可确认处理队列1为用于处理该交易请求所对应的最佳处理队列,然后将该交易请求分配到处理队列1中,以便处理队列1对应的处理线程1对该交易请求进行处理。
需要说明的是,上述图1所示的结构仅是一种示例,本发明实施例对此不做限定。
基于上述描述,图2示例性的示出了本发明实施例提供的一种交易处理方法的流程,该方法适用于具有M个处理组件的交易处理系统。其中,每个处理组件包括一一对应的处理队列和处理线程,该流程可以由交易处理装置执行。
如图2所示,该流程具体包括:
步骤201,对交易请求进行分类,确定出所述交易请求所属的第一处理等级。
步骤202,针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数。
步骤203,针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数。
步骤204,从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级。
步骤205,将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
上述步骤201中,通过交易请求分类模型对交易请求进行识别,确定出交易请求所属的第一处理等级。如此,通过交易请求分类模型对交易请求进行识别,可以及时准确地识别出交易请求所属的第一处理等级,以便为后续确定处理该交易请求所需的处理组件提供支持。其中,交易请求可以为各种类型的交易请求,比如转账交易、支付交易等;交易请求分类模型对交易请求进行识别所确定的分类结果可以分为多类,比如有4种分类结果,即最快处理等级、次快处理等级、较慢处理等级和最慢处理等级。示例性地,假设用户在用户端提交一个支付交易请求,通过交易请求分类模型对该支付交易请求进行识别,确定出该支付交易请求所属的第一处理等级,比如,识别出的该支付交易请求所属的第一处理等级为较快处理等级。
其中,交易请求分类模型是基于标注了处理等级的样本交易请求数据集对预设的分类模型进行训练确定的。具体地,首先获取带有标注处理等级的样本交易请求数据集,再将带有标注处理等级的样本交易请求数据集进行预处理,得到处理后的样本交易请求数据集,并将处理后的样本交易请求数据集进行向量化处理,得到处理后的样本交易请求向量矩阵,之后将样本交易请求向量矩阵对预设的分类模型(比如深度学习神经网络、卷积神经网络等)进行训练,直至预设的分类模型收敛或达到预设迭代训练轮次为止,得到训练好的交易请求分类模型。
上述步骤202、步骤203和步骤204中,针对每个处理组件,通过对当前时段内的系统性能参数进行分析处理,确定出处理组件的当前系统性能参数,并通过对历史不同时段内的历史系统性能参数进行分析处理,确定出具有多个不同分段的历史系统性能参数。具体地,在确定每个处理组件的当前系统性能参数时,针对任一参数,获取参数在当前时段内的多个采集值,对多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值,并对各第一分段值进行归一化均值处理,得到参数对应的当前系统性能参数,从而确定出该处理组件的当前系统性能参数。在确定具有多个不同分段的历史系统性能参数时,针对任一参数,获取参数在不同时段的多个历史值,对多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值,并对各第二分段值进行归一化处理,得到参数对应的不同分段的历史系统性能参数,从而确定出具有多个不同分段的历史系统性能参数。如此,针对每个处理组件,通过对该处理组件的每个参数在当前时段内的多个采集值进行分段归一化均值处理,可以使得所确定出的该处理组件的当前系统性能参数更加符合该处理组件的当前处理性能,也更能代表该处理组件的当前处理性能,并可以避免该处理组件的一些当前参数采集值出现异常而影响该处理组件真实的当前处理性能。此外,通过对每个参数在不同时段的历史采集值进行分段处理,可确定出具有多个不同分段的历史系统性能参数,即,确定出交易处理系统在历史不同时段内所具有的多个不同处理性能状况(交易处理系统具有多个不同类的处理等级),该多个不同处理性能状况更能代表交易系统的真实处理性能,以便为确定每个处理组件的当前处理等级提供基准参照支持。其中,当前系统性能参数或所述历史系统性能参数包括以下至少一项:系统处理能力TPS、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量和网络吞吐量。如此,通过实时采集当前系统性能参数以及采集历史系统性能参数,可以为后续确定每个处理组件所属的处理等级提供数据支持。其中,可以通过下述方式对每个第一分段值或每个第二分段值进行归一化处理:
其中,Pi-j表示任一第一分段值或任一第二分段值对应的归一化值,Seg表示最小的最大熵对应的分段策略的分段数,Pi-j(VX)表示任一第一分段值或任一第二分段值,Pmax表示最大的第一分段值或最大的第二分段值。
而且,在对多个采集值进行分段时,通过不同区间分段规则对多个采集值进行N种分段策略,并针对任一种分段策略,确定出分段策略下各分段的采集值。再针对每个分段的采集值,通过设定的最大熵规则对分段的采集值进行处理,确定分段对应的最大熵,并根据各分段对应的最大熵,确定分段策略的最大熵。然后,从各分段策略中确定出最小的最大熵对应的分段策略,并按照最小的最大熵对应的分段策略对多个采集值进行分段。如此,通过设定的最大熵规则对分段的采集值进行处理,可以及时准确地确定出各分段对应的最大熵,并基于最大熵可以及时地确定出最佳的分段策略,以便基于该最佳的分段策略对多个采集值进行合理且准确地分段。
此外,在确定处理组件所属的第二处理等级时,针对每个分段的历史系统性能参数,确定每个处理组件的当前系统性能参数与该分段的历史系统性能参数的相似度,从而针对该处理组件可确定出多个相似度。再将各相似度进行比对,确定出最大相似度,并将最大相似度对应的分段的历史系统性能参数确定为与当前系统性能参数匹配的历史系统性能参数。如此,通过将每个处理组件映射到对应的分段中,可以使得各处理组件在同一条件场景中(即都在交易处理系统的历史处理性能场景中,都以历史系统性能参数作为参照基准)进行处理等级的划分,可以使得各处理组件所属的处理等级的划分更加符合真实,也更加精准,同时也使得每个处理组件所属的处理等级更加符合该处理组件的当前实际处理性能。然后,根据设定的参数系数以及匹配的历史系统性能参数,确定处理组件所属的第二处理等级。如此,通过依据各参数对交易处理系统的影响程度,设置对应的参数系数,如此,基于设定的参数系数以及匹配的历史系统性能参数,可以使得所确定出的处理组件所属的处理等级更加符合实际,也更加准确。
上述步骤205中,针对每个处理组件,将该处理组件所属的第一处理等级与M个第二处理等级进行匹配,确定出用于处理交易请求的处理组件,以便该交易请求能够被分配到最适合处理该交易请求的处理组件中进行处理,如此,可以实现交易请求与处理组件的动态匹配,并可以提高交易处理系统的处理资源利用率,以避免交易处理系统中出现处理资源利用不均匀的情况,同时也可以使得各处理组件的负载更加均衡。
示例性地,假设用户在用户端提交一个借款交易请求,通过交易请求分类模型识别出该借款交易请求所属的第一处理等级为最慢处理等级,则将该借款交易请求所属的第一处理等级(最慢处理等级)与M个第二处理等级(比如有4个第二处理等级,即最快处理等级、次快处理等级、较慢处理等级和最慢处理等级)进行匹配,即可确定该借款交易请求所属的第一处理等级与最慢处理等级能够匹配上,如此即可确定出最慢处理等级所对应的处理组件即为用于处理该借款交易请求所需的处理组件,以便将该借款交易请求分配到最慢处理等级所对应的处理组件中进行处理。
此外,在将第一处理等级与M个第二处理等级进行匹配之前,还需要进一步确认分类处理所确定的交易请求所属的第一处理等级是否正确。具体地,首先根据M个处理组件在历史交易请求的处理过程中所产生的交易性能数据进行统计分析确定出第三处理等级对应的交易类型。再确定交易请求所属的交易类型是否属于历史交易记录中第三处理等级对应的交易类型。若是,则在确定第一处理等级与第三处理等级不一致时,将第一处理等级更新为第三处理等级。其中,第三处理等级低于第一处理等级。基于此,由于分类处理所确定的交易请求所属的第一处理等级不一定完全正确,因此,可通过统计第三处理等级对应的交易类型,并对分类处理所确定的交易请求所属的第一处理等级进行进一步地确认,以便在交易请求所属的交易类型属于历史交易记录中第三处理等级对应的交易类型,且第一处理等级与第三处理等级不一致时,确认分类处理所确定的交易请求所属的第一处理等级是不正确的,从而能够及时地对交易请求所属的第一处理等级进行更改,以便后续能够及时准确地将交易请求分配到最合适的处理组件中。
示例性地,假设慢交易名单中有贷款交易、借款交易等慢交易类型,比如贷款交易对应的处理等级为较慢交易处理等级,借款交易对应的处理等级为最慢交易处理等级。例如用户在用户端提交了一条借款交易请求,通过交易请求分类模型识别出该借款交易请求所属的第一处理等级为较快处理等级。再将该借款交易请求以及该借款交易请求所属的第一处理等级发送给慢交易分析模块,慢交易分析模块基于慢交易名单对该借款交易请求以及该借款交易请求所属的第一处理等级进行分析,确定该借款交易请求所属的交易类型(借款交易)位于慢交易名单中,且确定该借款交易请求所属的第一处理等级(较快处理等级)与该借款交易请求所属的交易类型对应的处理等级(最慢交易处理等级)不一致,则确定交易请求分类模型所识别出的针对借款交易请求所属的第一处理等级是错误的,因此将该借款交易请求所属的第一处理等级(较快处理等级)更改为最慢交易处理等级,以确保后续能够及时准确地将该借款交易请求分配到最合适的处理队列中。
需要说明的是,如果慢交易名单中没有借款交易请求所属的交易类型,则确认交易请求分类模型所识别出的针对借款交易请求所属的第一处理等级是正确的。或者,慢交易名单中存在借款交易请求所属的交易类型,确定该借款交易请求所属的交易类型(借款交易)位于慢交易名单中,但是确定该借款交易请求所属的第一处理等级(较快处理等级)与该借款交易请求所属的交易类型对应的处理等级(最慢交易处理等级)一致,则确定交易请求分类模型所识别出的针对借款交易请求所属的第一处理等级是正确的。
基于此,下面对本发明实施例中交易处理方法的实施过程进行具体描述。
Step1:机器学习分类模块接收用户端提交的交易请求,并对交易请求进行识别,确定出针对交易请求的分类结果。
机器学习分类模块在接收到用户端的用户提交的交易请求时,通过机器学习分类模型对该交易请求进行分类识别,确定出针对交易请求的分类结果(即该交易请求所属的处理等级)。其中,交易请求可以为各种类型的交易请求,比如转账交易、支付交易、贷款交易、借款交易等,或者也可以为用户个人信息查询请求、个人支付信息查询请求等,本发明实施例对此并不作限定。示例性地,假设针对交易请求的分类结果有4个处理等级,即,处理等级A、处理等级B、处理等级C以及处理等级D,且处理等级A>处理等级B>处理等级C>处理等级D。处理等级越大表示针对交易请求的处理速度越快,即,处理等级越大表示处理该交易请求所需的时间越短,该交易请求能够被快速地处理。比如用户使用用户端所在的终端设备(比如智能手机、平板电脑、台式电脑或笔记本电脑等)提交一个转账交易请求,则机器学习分类模块在接收到该转账交易请求后,对该转账交易请求进行分类识别,识别出该转账交易请求所属的处理等级,比如该转账交易请求所属的处理等级为处理等级A。
此外,机器学习分类模型是通过基于标注处理等级的样本交易请求数据集对预设的分类模型(比如深度学习神经网络、卷积神经网络、决策树等)进行训练得到的。具体地,首先获取带有标注处理等级的样本交易请求数据集,再将带有标注处理等级的样本交易请求数据集进行预处理,得到处理后的样本交易请求数据集,并将处理后的样本交易请求数据集进行向量化处理,得到处理后的样本交易请求向量矩阵,之后将样本交易请求向量矩阵对预设的分类模型进行训练,直至预设的分类模型收敛或达到预设迭代训练轮次为止,得到机器学习分类模型。其中,每个样本交易请求数据集包括交易报文中Key值数目、Value值数目、报文的数据结构、交易读写情况、调用链路等信息。示例性地,以预设的分类模型为卷积神经网络为例,首先获取带有标注处理等级的样本交易请求数据集,并将带有标注处理等级的样本交易请求数据集进行预处理,得到处理后的样本交易请求数据集。再将处理后的样本交易请求数据集输入到预设的词向量模型(比如Word2vec或Glove等)中进行向量化处理,得到样本交易请求数据集对应的词向量矩阵,并将词向量矩阵输入到卷积神经网络进行训练,即可得到训练好的机器学习分类模型。
需要说明的是,对交易请求也可以采用人工分类的方式进行分类,比如,本领域技术人员可以根据经验或实际应用场景对交易请求的分类结果进行人工指定,或者,本领域技术人员也可以根据经验对交易请求进行人工识别分析,确定出交易请求的分类结果,本发明实施例对此并不作限定。
Step2:交易与队列匹配模块对采集的监控数据进行分析处理,确定出各处理队列所对应的处理等级。
交易与队列匹配模块在接收到针对交易请求的分类结果时,从交易处理模块获取采集的监控数据(包括系统性能数据和交易性能数据),该采集的监控数据为各处理队列所对应的各处理线程在处理各交易请求的过程中产生的数据。其中,系统性能数据可以包括系统处理能力(或系统吞吐量)TPS、并发用户数VU、错误率FR、CPU(Central ProcessingUnit,中央处理器)利用率、内存利用率、磁盘吞吐量、网络吞吐量等参数;交易性能数据包括交易响应时间、交易码(可表示交易请求所属的交易类型)、交易调用链路信息、队列类型等数据。具体地,第一种可能的实现方式是:交易与队列匹配模块在接收到针对交易请求的分类结果时,向交易处理模块发送监控数据获取请求,交易处理模块在接收到监控数据获取请求后,采集各处理队列对应的预设时段内的监控数据,并将各处理队列对应的预设时段内的监控数据发送给交易与队列匹配模块。或者,第二种可能的实现方式是:交易处理模块也可以预先采集各处理队列对应的监控数据,并存储在内存中,如此,在接收到交易与队列匹配模块发送的监控数据获取请求后,将各处理队列对应的预设时段内的监控数据发送给交易与队列匹配模块。示例性地,以第一种可能的实现方式为例,交易处理模块在接收到监控数据获取请求后,实时采集各处理队列对应的当前时段内的监控数据以及采集设定时段内的历史监控数据,比如当前时段可以设置为位于接收监控数据获取请求的时刻之前的5秒内、10秒内、15秒内或30秒内等,设定时段可以设置为5天内、7天内、20天内、30天内、两个月内或半年内等,例如采集各处理队列对应的10秒内的监控数据以及采集各处理队列对应的30天内的历史监控数据。其中,当前时段内的监控数据用于表征交易处理模块的当前处理性能特征,设定时段内的历史监控数据用于表征交易处理模块的历史处理性能特征。然后,将采集各处理队列对应的当前时段内的监控数据以及设定时段内的历史监控数据发送给交易与队列匹配模块。
交易与队列匹配模块在获取到采集的各处理队列对应的监控数据后,对采集的各处理队列对应的监控数据进行分析处理,确定出各处理队列所对应的处理等级。其中,交易与队列匹配模块可以包括慢交易统计模块、慢交易分析模块以及系统性能评估模块。具体地,参考图3,图3为本发明实施例提供的一种交易与队列匹配模块确定用于处理交易请求的处理组件的流程示意图。基于图3,交易与队列匹配模块中的系统性能评估模块对监控数据中的系统性能数据进行分析计算,确定出各处理队列对应的当前系统性能参数,并确定出具有多个不同分段的历史系统性能参数。针对每个处理队列,将该处理队列对应的当前系统性能参数与具有多个不同分段的历史系统性能参数进行匹配,从而可确定出各处理队列所属的处理等级。然后,将交易请求所属的处理等级与各处理队列所属的处理等级进行匹配,确定出用于处理该交易请求的最佳处理队列。最后,将该交易请求分配到该最佳处理队列,以便该最佳处理队列对应的处理线程对该交易请求进行处理。其中,交易请求所属的处理等级的数量与处理队列所属的处理等级的数量保持一致,即,假设针对交易请求的分类结果有4个处理等级,针对处理队列所属的处理等级也有4个。
其中,交易与队列匹配模块中的慢交易统计模块对监控数据中的交易性能数据进行统计,确定出慢交易名单,该慢交易名单中包括慢交易请求所属的交易类型和慢交易请求所属的处理等级。具体地,慢交易统计模块对交易性能数据(比如交易响应时间、交易码、交易调用链路信息、队列类型等)进行统计分析,可统计出慢交易请求、慢交易请求所属的交易类型以及慢交易请求所属的处理等级。如此,慢交易分析模块在接收到机器学习分类模块发送的针对交易请求的分类结果后,对该交易请求以及该交易请求的分类结果进行分析,即确定该交易请求所属的交易类型是否位于慢交易名单中的交易类型中,若是,则确定该交易请求所属的处理等级是否与慢交易名单中该交易类型对应的处理等级一致,在确定不一致时,将该交易请求所属的处理等级更改为慢交易名单中该交易类型对应的处理等级。示例性地,假设慢交易名单中有贷款交易、借款交易等慢交易类型,比如机器学习分类模块确定出贷款交易对应的处理等级为较慢交易处理等级(比如分类结果A),借款交易对应的处理等级为最慢交易处理等级。例如用户提交了一条贷款交易请求,机器学习分类模块在接收到该贷款交易请求后,对该贷款交易请求进行分类识别,假设确定出针对该贷款交易请求所属的处理等级为较快交易处理等级。再将该贷款交易请求以及该贷款交易请求所属的处理等级发送给慢交易分析模块,慢交易分析模块基于慢交易名单对该贷款交易请求以及该贷款交易请求的分类结果进行分析,确定该贷款交易请求所属的交易类型(贷款交易)位于慢交易名单中,且确定该贷款交易请求所属的处理等级(较快交易处理等级)与该贷款交易请求所属的交易类型对应的处理等级(较慢交易处理等级)不一致,则确定机器学习分类模块所识别出的针对贷款交易请求所属的处理等级是错误的,并将该贷款交易请求所属的较快交易处理等级(比如分类结果A)更改为较慢交易处理等级(比如分类结果B),以确保后续能够及时准确地将该贷款交易请求分配到最合适的处理队列中,从而可以提高交易处理系统的整体处理性能。或者,机器学习分类模块针对该贷款交易请求所属的处理等级为较慢交易处理等级(比如分类结果A),则慢交易分析模块基于慢交易名单对该贷款交易请求以及该贷款交易请求的分类结果进行分析,确定该贷款交易请求所属的交易类型(贷款交易)位于慢交易名单中,且确定该贷款交易请求所属的处理等级(较慢交易处理等级)与该贷款交易请求所属的交易类型对应的处理等级(较慢交易处理等级)一致,则确定机器学习分类模块所识别出的针对贷款交易请求所属的处理等级是正确的,即,分类结果B和分类结果A是相同的,无需对机器学习分类模块所识别出的针对贷款交易请求所属的处理等级进行更改。
需要说明的是,继续以贷款交易请求为例,假设慢交易名单中没有贷款交易请求所属的交易类型。机器学习分类模块针对该贷款交易请求所属的处理等级为较快交易,则慢交易分析模块基于慢交易名单对该贷款交易请求以及该贷款交易请求的分类结果进行分析,确定该贷款交易请求所属的交易类型(贷款交易)不存在于慢交易名单中,则确定机器学习分类模块所识别出的针对贷款交易请求所属的处理等级是正确的。
此外,参考图4,图4为本发明实施例提供的一种基于不同区间分段规则处理系统性能数据的示意图。基于图4,系统性能评估模块通过基于不同区间分段规则对监控数据中的系统性能数据进行分析计算,确定出各处理队列对应的当前系统性能参数,并确定出具有多个不同分段的历史系统性能参数。具体地,系统性能评估模块获取各处理队列对应的当前时段内的系统性能数据以及设定时段内的历史系统性能数据,即,通过交易处理模块对各处理队列对应的各参数进行多次取样,生成当前时段内的系统性能数据,以及通过交易处理模块采集一定时间内各处理队列对应的各参数的多组数据,生成各处理队列对应的设定时段内的历史系统性能数据。然后,通过基于不同区间分段规则对各处理队列对应的当前时段内的系统性能数据进行分段处理,确定出各处理队列对应的当前系统性能参数,以及通过基于不同区间分段规则对各处理队列对应的设定时段内的历史系统性能数据进行分段处理,确定出具有多个不同分段的历史系统性能参数。最后,针对每个处理队列,将该处理队列对应的当前系统性能参数与具有多个不同分段的历史系统性能参数进行映射匹配处理,确定出各处理队列对应的当前系统性能评估值,并根据各处理队列对应的当前系统性能评估值可以将各处理队列进行划分处理等级,从而可以确定出各处理队列所属的处理等级。
下面以设定时段内的历史系统性能数据为例,对基于不同区间分段规则进行分段处理的过程进行描述。
其中,不同区间分段规则是指对一组参数进行预处理,使得最终数据归一化到同一量纲,降低方差大的参数,增强交易处理系统的泛化能力。同时不同类型的数据归一化到同一量纲,有利于提升后续算法的收敛速度。
下面以一组参数特征矩阵(即某一设定时段内的历史系统性能数据组成的矩阵)为例进行描述。比如{P1,P2,…,Pn},其中,针对该组参数特征矩阵中任一参数Pi,为该参数任意多个该参数取值的集合,即表示参数Pi是一个由该参数所对应的多个参数值组成的集合。
步骤a、针对任一参数Pi,假设Pi包含m列,其中,m为任意正整数。将Pi按照由小到大进行排序,并记录序号。将Pi转换排序转换后的矩阵,记作Pim-sort=[Im,Vm],其中Im序号列,Vm为对应的参数历史值,m为列表总数。
步骤c、通过不同区间分段规则(比如k近邻算法等)对Pim-sort进行分段,分段数Seg=[1,2,…,Segmax],得到分段后的矩阵Pim-sort-seg={[Pi1],[Pi1,Pi2],…,[Pi1,…,PiSeg]}。
步骤d、分别计算Pim-sort-seg中各列的最大熵。
[Pi1]的最大熵为:H(Pi1)=-∑XPi1(VX)×log(Pi1(VX))。其中,H(Pi1)满足不等式0≤H(Pi1)≤log(Pi1(VX))。
…
步骤e、取最大熵之和最小的分段作为最优分段,记作Pi-seg。其中,Pi-seg=[Pi-seg-1,Pi-seg-2,…,Pi-seg-seg]。
步骤f、对分段结果Pi-seg进行归一化,得到参数Pi的基准值,即,Pi-base=[Pi-1,Pi-2,…,Pi-seg]。其中,针对Pi-base中任一Pi-j, 其中,Pi-j表示最优分段中的任一分段值,Seg为最优分段的段数,Pmax表示最优分段中的最大分段值。
步骤g、对矩阵{P1,P2,…,Pn}中每个参数,依次进行分段处理,得到矩阵Punion={P1-union,P2-union,…,Pn-union}。由于各参数经过分段处理后,每列的维度不一致,需要将Punion进一步归一化到同一维度。其中,将Punion归一化到同一维度的计算过程为:
(1)、根据Punion中每列维度值,得到最大维度Max(Seg)。
(2)、如果Max(Seg)为偶数,Max(Seg)=Max(Seg)+1,如果Max(Seg)为奇数,则不变。
(3)、将每一列分段数映射到Max(Seg)分段上,先将第一段和最后一段映射到Max(Seg)的第一段和最后一段。对于分段数为基数的,取(n+1)/2作为中间段;对于分段数为偶数的,取n/2段和(n/2+1)段均值作为中间段。
(4)、按(3)中的方法进行迭代,即可得到维度统一、取值度量统一的特征评估矩阵Punion′。
在系统性能调优过程中,需要对不同的系统性能参数,进行分段处理。示例性地,下面以系统处理能力TPS、错误率FR两个参数为例,对分段处理的过程进行描述。
其中,系统处理能力以及错误率的多个参数取值可以如表1所示。
表1
系统处理能力 | 错误率 |
5000 | 0.12 |
8800 | 0.08 |
16000 | 0.14 |
30000 | 0.1 |
80000 | 0.13 |
120000 | 0.16 |
200000 | 0.17 |
步骤A、对参数进行排序和矩阵转换,得到Pim-sort。
比如,对于系统处理能力,进行排序和矩阵转换后所得到的矩阵为:P1m-sort={[1,5000],[2,8800],[3,16000],[4,30000],[5,80000],[6,120000],[7,200000]}。对于错误率,进行排序和矩阵转换后所得到的矩阵为:P2m-sort={[1,0.08],[2,0.1],[3,0.12],[4,0.13],[5,0.14],[6,0.16],[7,0.17]}。
步骤B、对于P1m-sort和P2m-sort,均取7作为最大分段数。
步骤C、分别使用k近邻算法对P1m-sort和P2m-sort进行分段。
具体地,由于Segmax可以取小于7,大于等于√7的任意整数,则分段数为{3,4,5,6},即可得到各自分段后的矩阵。以系统处理能力为例,系统处理能力分段后的矩阵可以如表2所示。
表2
Seg=3 | Seg=4 | Seg=5 | Seg=6 |
[1,8000] | [1,5000] | [1,5000] | [1,5000] |
[2,62000] | [2,45000] | [2,42000] | [2,20000] |
[3,200000] | [3,86000] | [3,80000] | [3,40000] |
[4,200000] | [4,120000] | [4,80000] | |
[5,200000] | [5,120000] | ||
[6,200000] |
步骤D、分别计算系统处理能力分段后的矩阵以及错误率分段后的矩阵中各列的最大熵。
具体地,针对系统处理能力分段后的矩阵中各列,即,对于Seg=3,根据最大熵计算公式H(Pi1)=-∑XPi1(VX)×log(Pi1(VX))计算Seg=3中各列的最大熵,即,对于Seg=3中第一列的最大熵为: 对于Seg=3中第二列的最大熵为: 因此第二列的最大熵为0.2591+0.3249+0.3654=0.9494。按照该计算方法同样可以计算出Seg=3中第三列的最大熵为0.9865,所以Seg=3时的最大熵之和为:0.3675+0.9494+0.9865=2.3034。同理,可以计算出Seg=4时的最大熵之和为2.068,计算出Seg=5时的最大熵之和为2.722,计算出Seg=6时的最大熵之和为2.268。
基于上述可知,将系统处理能力的各分段的最大熵之和进行比较,即可确定Seg=4时的最大熵之和是最小的,因此对于系统处理能力,取分段数为4作为最优的分段数,根据该最优的分段数所对应的分段矩阵进行归一化处理。同理,按照计算系统处理能力的最优分段数的方法可以确定错误率的最优分段数为3。
具体地,系统处理能力的最优分段数为4,该最优分段数对应的分段矩阵为[5000,45000,86000,200000]。基于归一化计算公式即可计算出系统处理能力归一化后的矩阵为{[1,12.55],[2,35.58],[3,49.18],[4,75]}。同理,对错误率的最优分段数(错误率的最优分段数为3)对应的分段矩阵进行归一化处理,即可计算出错误率归一化后的矩阵为{[1,38.15],[2,52.56],[3,66.7]}。
步骤F、将系统处理能力归一化后的矩阵以及错误率归一化后的矩阵进行进一步归一化,即,将系统处理能力归一化后的矩阵以及错误率归一化后的矩阵归一化到同一维度。
具体地,将系统处理能力归一化后的矩阵中的维度值(维度值为4)与错误率归一化后的矩阵中的维度值(维度值为3)进行比较,确定出最大维度为4,4为偶数,因此取最大维度Max(Seg)=4+1=5。将每一列分段数映射到Max(Seg)分段上,先将第一段和最后一段映射到Max(Seg)的第一段和最后一段。对于段数为奇数的,取(n+1)/2作为中间段,依次迭代,针对不可拆分项,取前一个值向上填充。示例性地,以交易处理系统中所涉及的系统处理能力和错误率这两个参数为例进行描述将参数进一步归一化的处理过程,即,针对系统处理能力和错误率这两个参数,归一化到同一维度所形成的各自参数矩阵分别为:系统处理能力进一步归一化后的矩阵为{[1,12.55],[2,35.58],[3,42.34],[4,49.18],[5,75]};错误率进一步归一化后的矩阵为{[1,38.15],[2,45.36],[3,52.56],[4,59.63],[5,66.7]}。
因此,当输入参数为一组系统性能参数矩阵时,同样可以使用上述基于不同区间分段规则,将所有参数分段归一化到同一维度和同一量纲。例如,系统处理能力、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量、网络吞吐量等多种参数组成的矩阵。其中,针对当前时段内的系统性能数据进行分段处理后,并针对每个处理队列,将该处理队列对应的每个参数的分段处理后矩阵进行均值化处理,所形成的各个处理队列对应的均值化矩阵Pnow可以如表3所示。针对设定时段内的历史系统性能数据进行分段处理后,所形成的具有多个不同分段的矩阵Pmean可以如表4所示。其中,每个处理队列在当前设定时段内对应的分段处理后矩阵是使用基于不同区间分段规则,得到分段数统一且取值度量统一的新矩阵;Pmean是使用基于不同区间分段规则,得到分段数统一且取值度量统一的新矩阵。
表3
表4
此外,Pnow中每个处理队列所对应的系统性能参数矩阵为对该处理队列在当前时段内所对应的系统性能参数均值化矩阵,分别将各个处理队列的系统性能参数均值化矩阵映射到Pmean分段中,即,根据相似度算法(比如余弦相似度算法或皮尔森相似度算法等),计算每个处理队列的系统性能参数均值化矩阵与Pmean中各分段所对应的矩阵之间的相似度。再确定出最大相似度,并将该处理队列映射到Pmean中最大相似度所对应的分段中。示例性地,将各个处理队列进行映射后所形成的形式可以如表5所示。
表5
处理队列 | 映射分段 |
处理队列1 | 分段10 |
处理队列2 | 分段6 |
处理队列3 | 分段7 |
处理队列4 | 分段2 |
… | … |
根据历史经验值,得到系统性能指标对系统综合性能影响的经验系数矩阵σ。假设当前有n个处理队列,队列系统综合评估矩阵为:Psum={S1,S2,…,Sn},其中,Si为第i个队列的当前系统性能综合评估值。其中,Psum=(Pnow→Pmean)×σ,即,将Pnow映射到Pmean上,再乘以经验系数矩阵。也就是说,将每个处理队列对应的映射分段所对应的分段矩阵乘以经验系数矩阵,即可得到每个处理队列的当前系统性能综合评估值。Psum中的值代表各个处理队列的当前系统性能综合评估值。或者,也可以不设置经验系数矩阵σ,直接默认各个参数对交易处理系统的影响程度一样,如此也就可以不用乘以经验系数。
需要说明的是,本发明实施例也可以不采用基于不同区间分段规则,本领域技术人员可以依据经验或实际应用场景直接指定特定段数,将每个参数归一化到统一取值度量。
Step3:将交易请求所属的处理等级与各处理队列对应的处理等级进行匹配,确定出用于处理交易请求的处理队列。
具体地,针对交易请求的按照交易快慢程度分为k类,其中k和处理队列的数量保持一致。将各交易请求所属的处理等级分别与各处理队列对应的处理等级进行匹配,即可确定出每个交易请求所对应的处理队列,以便该处理队列对应的处理线程对该交易请求进行处理。其中,在确定出各处理队列的当前系统性能综合评估值后,将各处理队列的当前系统性能综合评估值进行比较,按照当前系统性能综合评估值的大小进行设置对应的处理等级。或者,将各处理队列的当前系统性能综合评估值,按照从大到小或从小到大的顺序进行排序,再对排序后的各处理队列依次设置对应的处理等级。比如有4个处理队列,即,处理队列A、处理队列B、处理队列C和处理队列D,假设处理队列A的当前系统性能综合评估值为30,处理队列B的当前系统性能综合评估值为25,处理队列C的当前系统性能综合评估值为20,处理队列D的当前系统性能综合评估值为15。如此,则处理队列A的当前系统性能综合评估值最大,处理队列B的当前系统性能综合评估值次大,处理队列C的当前系统性能综合评估值较小,处理队列D的当前系统性能综合评估值最小,即可将处理队列A对应的处理等级设置为最快处理等级,将处理队列B对应的处理等级设置为次快处理等级,将处理队列C对应的处理等级设置为较慢处理等级,将处理队列D对应的处理等级设置为最慢处理等级。示例性地,假设判断出某一交易请求的分类结果为最快交易(即该交易请求所属的处理等级为最快处理等级),则可以将该交易请求匹配到Psum中的值最高的处理队列(该处理队列的当前系统性能综合评估值最高)中。或者,假设判断出某一交易请求的分类结果为次快交易(即该交易请求所属的处理等级为次快处理等级),则可以将该交易请求匹配到Psum中的值次高的处理队列(该处理队列的当前系统性能综合评估值次高)中。或者,假设判断出某一交易请求的分类结果为最慢交易(即该交易请求所属的处理等级为最慢处理等级),则可以将该交易请求匹配到Psum中的值最低的处理队列(该处理队列的当前系统性能综合评估值最低)中,依次类推,从而可以实现交易请求的分类结果与各处理队列对应的系统处理性能的动态匹配。
上述实施例表明,通过对交易请求进行分类,确定出交易请求所属的第一处理等级,并针对每个处理组件,确定出处理组件的当前系统性能参数,以及确定出具有多个不同分段的历史系统性能参数。再从具有多个不同分段的历史系统性能参数中,确定出与当前系统性能参数匹配的历史系统性能参数,从而可以准确地确定出处理组件所属的第二处理等级。如此以多个不同分段的历史系统性能参数为参照基准,将每个处理组件映射到不同分段中,可以使得所确定出的各处理组件所属的第二处理等级更加精准,也更加符合实际需要,以此可实现对交易请求进行有效且合理地处理。然后,将第一处理等级与M个第二处理等级进行匹配,可确定出用于处理交易请求的最佳处理组件,以便该交易请求能够被分配到最适合处理该交易请求的处理组件中进行处理。基于此,采用该方案可以使得各交易请求都能被分配到与其最匹配的交易处理组件中,以使各交易请求都能被及时地处理,如此,可以实现交易请求与处理组件的动态匹配,并可以提高交易处理系统的处理资源利用率,以避免交易处理系统中出现处理资源利用不均匀的情况,同时也可以使得各处理组件的负载更加均衡,以避免交易处理系统中出现一些处理组件负载较大,一些处理组件负载较小的情况,从而可以提高交易处理系统的整体处理性能。
基于相同的技术构思,图5示例性的示出了本发明实施例提供的一种交易处理装置,该装置适用于具有M个处理组件的交易处理系统。其中,每个处理组件包括一一对应的处理队列和处理线程,该装置可以执行交易处理方法的流程。
如图5所示,该装置包括:
分类单元501,用于对交易请求进行分类,确定出所述交易请求所属的第一处理等级;
处理单元502,用于针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数;针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数;从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级;将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
可选地,所述处理单元502具体用于:
针对任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,得到所述参数对应的当前系统性能参数;
所述处理单元502具体用于:
针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,得到所述参数对应的不同分段的历史系统性能参数。
可选地,所述处理单元502具体用于:
通过不同区间分段规则对所述多个采集值进行N种分段策略;
针对任一种分段策略,确定出所述分段策略下各分段的采集值;针对每个分段的采集值,通过设定的最大熵规则对所述分段的采集值进行处理,确定所述分段对应的最大熵;根据各分段对应的最大熵,确定所述分段策略的最大熵;
从各分段策略中确定出最小的最大熵对应的分段策略,并按照所述最小的最大熵对应的分段策略对所述多个采集值进行分段。
可选地,所述处理单元502具体用于:
通过下述方式对每个第一分段值或每个第二分段值进行归一化处理:
其中,Pi-j表示任一第一分段值或任一第二分段值对应的归一化值,Seg表示最小的最大熵对应的分段策略的分段数,Pi-j(VX)表示任一第一分段值或任一第二分段值,Pmax表示最大的第一分段值或最大的第二分段值。
可选地,所述处理单元502具体用于:
针对每个分段的历史系统性能参数,确定所述处理组件的当前系统性能参数与所述分段的历史系统性能参数的相似度;
将各相似度进行比对,确定出最大相似度,并将所述最大相似度对应的分段的历史系统性能参数确定为与所述当前系统性能参数匹配的历史系统性能参数。
可选地,所述处理单元502具体用于:
根据设定的参数系数以及所述匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级。
可选地,所述处理单元502具体用于:
所述当前系统性能参数或所述历史系统性能参数包括以下至少一项:系统处理能力TPS、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量和网络吞吐量。
可选地,所述处理单元502还用于:
在将所述第一处理等级与M个第二处理等级进行匹配之前,确定所述交易请求所属的交易类型是否属于历史交易记录中第三处理等级对应的交易类型;所述第三处理等级对应的交易类型是根据所述M个处理组件在历史交易请求的处理过程中所产生的交易性能数据进行统计分析确定出的;
若是,则在确定所述第一处理等级与所述第三处理等级不一致时,将所述第一处理等级更新为所述第三处理等级;所述第三处理等级低于所述第一处理等级。
可选地,所述分类单元501具体用于:
通过交易请求分类模型对所述交易请求进行识别,确定出所述交易请求所属的第一处理等级;所述交易请求分类模型是基于标注了处理等级的样本交易请求数据集对预设的分类模型进行训练确定的。
基于相同的技术构思,本发明实施例还提供了一种计算设备,如图6所示,包括至少一个处理器601,以及与至少一个处理器连接的存储器602,本发明实施例中不限定处理器601与存储器602之间的具体连接介质,图6中处理器601和存储器602之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中,存储器602存储有可被至少一个处理器601执行的指令,至少一个处理器601通过执行存储器602存储的指令,可以执行前述的交易处理方法中所包括的步骤。
其中,处理器601是计算设备的控制中心,可以利用各种接口和线路连接计算设备的各个部分,通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据,从而实现数据处理。可选的,处理器601可包括一个或多个处理单元,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理下发指令。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。在一些实施例中,处理器601和存储器602可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合交易处理方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本发明实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于相同的技术构思,本发明实施例还提供了一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述交易处理方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种交易处理方法,其特征在于,适用于具有M个处理组件的交易处理系统,其中,每个处理组件包括一一对应的处理队列和处理线程,所述方法包括:
对交易请求进行分类,确定出所述交易请求所属的第一处理等级;
针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数;
针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数;
从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级;
将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
2.如权利要求1所述的方法,其特征在于,对所述多个采集值进行分段,包括:
通过不同区间分段规则对所述多个采集值进行N种分段策略;
针对任一种分段策略,确定出所述分段策略下各分段的采集值;针对每个分段的采集值,通过设定的最大熵规则对所述分段的采集值进行处理,确定所述分段对应的最大熵;根据各分段对应的最大熵,确定所述分段策略的最大熵;
从各分段策略中确定出最小的最大熵对应的分段策略,并按照所述最小的最大熵对应的分段策略对所述多个采集值进行分段。
4.如权利要求1所述的方法,其特征在于,所述从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,包括:
针对每个分段的历史系统性能参数,确定所述处理组件的当前系统性能参数与所述分段的历史系统性能参数的相似度;
将各相似度进行比对,确定出最大相似度,并将所述最大相似度对应的分段的历史系统性能参数确定为与所述当前系统性能参数匹配的历史系统性能参数。
5.如权利要求1所述的方法,其特征在于,所述根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级,包括:
根据设定的参数系数以及所述匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级。
6.如权利要求1所述的方法,其特征在于,所述当前系统性能参数或所述历史系统性能参数包括以下至少一项:系统处理能力TPS、并发用户数、错误率、CPU利用率、内存利用率、磁盘吞吐量和网络吞吐量。
7.如权利要求1所述的方法,其特征在于,在将所述第一处理等级与M个第二处理等级进行匹配之前,还包括:
确定所述交易请求所属的交易类型是否属于历史交易记录中第三处理等级对应的交易类型;所述第三处理等级对应的交易类型是根据所述M个处理组件在历史交易请求的处理过程中所产生的交易性能数据进行统计分析确定出的;
若是,则在确定所述第一处理等级与所述第三处理等级不一致时,将所述第一处理等级更新为所述第三处理等级;所述第三处理等级低于所述第一处理等级。
8.如权利要求1所述的方法,其特征在于,所述对交易请求进行分类,确定出所述交易请求所属的第一处理等级,包括:
通过交易请求分类模型对所述交易请求进行识别,确定出所述交易请求所属的第一处理等级;所述交易请求分类模型是基于标注了处理等级的样本交易请求数据集对预设的分类模型进行训练确定的。
9.一种交易处理装置,其特征在于,适用于具有M个处理组件的交易处理系统,其中,每个处理组件包括一一对应的处理队列和处理线程,所述装置包括:
分类单元,用于对交易请求进行分类,确定出所述交易请求所属的第一处理等级;
处理单元,用于针对每个处理组件对应的任一参数,获取所述参数在当前时段内的多个采集值,对所述多个采集值进行分段,根据分段中的采集值确定每个分段的第一分段值;对各第一分段值进行归一化均值处理,从而确定出所述处理组件的当前系统性能参数;针对任一参数,获取所述参数在不同时段的多个历史值,对所述多个历史值进行分段,根据分段中的历史值确定每个分段的第二分段值;对各第二分段值进行归一化处理,从而确定出具有多个不同分段的历史系统性能参数;从具有多个不同分段的历史系统性能参数中,确定出与所述当前系统性能参数匹配的历史系统性能参数,并根据匹配的历史系统性能参数,确定所述处理组件所属的第二处理等级;将所述第一处理等级与M个第二处理等级进行匹配,确定出用于处理所述交易请求的处理组件。
10.一种计算设备,其特征在于,包括至少一个处理器以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器执行权利要求1至8任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532029.4A CN113159957B (zh) | 2021-05-17 | 2021-05-17 | 一种交易处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532029.4A CN113159957B (zh) | 2021-05-17 | 2021-05-17 | 一种交易处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113159957A true CN113159957A (zh) | 2021-07-23 |
CN113159957B CN113159957B (zh) | 2022-11-04 |
Family
ID=76876423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110532029.4A Active CN113159957B (zh) | 2021-05-17 | 2021-05-17 | 一种交易处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159957B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059972A1 (en) * | 2006-08-31 | 2008-03-06 | Bmc Software, Inc. | Automated Capacity Provisioning Method Using Historical Performance Data |
CN102708011A (zh) * | 2012-05-11 | 2012-10-03 | 南京邮电大学 | 一种面向云计算平台任务调度的多级负载评估方法 |
US20170372231A1 (en) * | 2016-06-23 | 2017-12-28 | Accenture Global Solutions Limited | Learning based routing of service requests |
US20180005126A1 (en) * | 2016-07-04 | 2018-01-04 | Panasonic Intellectual Property Management Co., Ltd. | Decision tree generating apparatus, decision tree generating method, non-transitory computer-readable recording medium, and inquiry system |
US20180018734A1 (en) * | 2016-07-18 | 2018-01-18 | Intuit Inc. | Method and system for automatically categorizing financial transaction data |
WO2018048999A1 (en) * | 2016-09-09 | 2018-03-15 | Chicago Mercantile Exchange Inc. | Message cancelation based on data transaction processing system latency |
CN108549962A (zh) * | 2018-06-04 | 2018-09-18 | 中国农业大学 | 基于历史分段序列搜索和时序稀疏化的风电功率预测方法 |
US20180341459A1 (en) * | 2017-05-27 | 2018-11-29 | International Business Machines Corporation | Short duration serialization express queue |
CN110838065A (zh) * | 2019-10-24 | 2020-02-25 | 腾讯云计算(北京)有限责任公司 | 一种交易数据处理方法及装置 |
CN110837401A (zh) * | 2018-08-16 | 2020-02-25 | 苏宁易购集团股份有限公司 | 一种java线程池分级处理方法和装置 |
US20200151824A1 (en) * | 2018-11-13 | 2020-05-14 | QuarterSpot Inc. | Predicting entity outcomes using taxonomy classifications of transactions |
CN111694669A (zh) * | 2020-06-12 | 2020-09-22 | 深圳前海微众银行股份有限公司 | 一种任务处理方法及装置 |
CN111857888A (zh) * | 2020-07-10 | 2020-10-30 | 中国建设银行股份有限公司 | 一种交易处理方法及装置 |
CN112181767A (zh) * | 2020-09-27 | 2021-01-05 | 深圳前海微众银行股份有限公司 | 软件系统异常的确定方法、装置和存储介质 |
-
2021
- 2021-05-17 CN CN202110532029.4A patent/CN113159957B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080059972A1 (en) * | 2006-08-31 | 2008-03-06 | Bmc Software, Inc. | Automated Capacity Provisioning Method Using Historical Performance Data |
CN102708011A (zh) * | 2012-05-11 | 2012-10-03 | 南京邮电大学 | 一种面向云计算平台任务调度的多级负载评估方法 |
US20170372231A1 (en) * | 2016-06-23 | 2017-12-28 | Accenture Global Solutions Limited | Learning based routing of service requests |
US20180005126A1 (en) * | 2016-07-04 | 2018-01-04 | Panasonic Intellectual Property Management Co., Ltd. | Decision tree generating apparatus, decision tree generating method, non-transitory computer-readable recording medium, and inquiry system |
US20180018734A1 (en) * | 2016-07-18 | 2018-01-18 | Intuit Inc. | Method and system for automatically categorizing financial transaction data |
WO2018048999A1 (en) * | 2016-09-09 | 2018-03-15 | Chicago Mercantile Exchange Inc. | Message cancelation based on data transaction processing system latency |
US20180341459A1 (en) * | 2017-05-27 | 2018-11-29 | International Business Machines Corporation | Short duration serialization express queue |
CN108549962A (zh) * | 2018-06-04 | 2018-09-18 | 中国农业大学 | 基于历史分段序列搜索和时序稀疏化的风电功率预测方法 |
CN110837401A (zh) * | 2018-08-16 | 2020-02-25 | 苏宁易购集团股份有限公司 | 一种java线程池分级处理方法和装置 |
US20200151824A1 (en) * | 2018-11-13 | 2020-05-14 | QuarterSpot Inc. | Predicting entity outcomes using taxonomy classifications of transactions |
CN110838065A (zh) * | 2019-10-24 | 2020-02-25 | 腾讯云计算(北京)有限责任公司 | 一种交易数据处理方法及装置 |
CN111694669A (zh) * | 2020-06-12 | 2020-09-22 | 深圳前海微众银行股份有限公司 | 一种任务处理方法及装置 |
CN111857888A (zh) * | 2020-07-10 | 2020-10-30 | 中国建设银行股份有限公司 | 一种交易处理方法及装置 |
CN112181767A (zh) * | 2020-09-27 | 2021-01-05 | 深圳前海微众银行股份有限公司 | 软件系统异常的确定方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113159957B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111507470A (zh) | 一种异常账户的识别方法及装置 | |
CN110991474A (zh) | 一种机器学习建模平台 | |
CN111352965A (zh) | 序列挖掘模型的训练方法、序列数据的处理方法及设备 | |
CN111597348A (zh) | 用户画像方法、装置、计算机设备和存储介质 | |
CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
CN116596095B (zh) | 基于机器学习的碳排放量预测模型的训练方法及装置 | |
US20230342606A1 (en) | Training method and apparatus for graph neural network | |
CN110929028A (zh) | 一种日志分类方法及装置 | |
CN114417095A (zh) | 一种数据集划分方法及装置 | |
CN113159213A (zh) | 一种业务分配方法、装置及设备 | |
CN113688906A (zh) | 基于量子K-means算法的客户细分方法和系统 | |
CN110991247B (zh) | 一种基于深度学习与nca融合的电子元器件识别方法 | |
CN113159957B (zh) | 一种交易处理方法及装置 | |
CN115730152A (zh) | 基于用户画像分析的大数据处理方法及大数据处理系统 | |
CN109308565B (zh) | 人群绩效等级识别方法、装置、存储介质及计算机设备 | |
CN113723514A (zh) | 一种基于混合采样的安全接入日志数据平衡处理方法 | |
CN111783835A (zh) | 一种数据降维方法、装置及系统 | |
CN111400413A (zh) | 一种确定知识库中知识点类目的方法及系统 | |
CN110532384A (zh) | 一种多任务字典单分类方法、系统、装置及存储介质 | |
CN111127184A (zh) | 一种分布式组合信用评估方法 | |
CN111966935B (zh) | 信息预加载方法、装置、计算机设备和存储介质 | |
CN114281994B (zh) | 一种基于三层加权模型的文本聚类集成方法及系统 | |
CN117216646A (zh) | 分类模型处理方法、装置、计算机设备和存储介质 | |
CN117217749A (zh) | 渠道费用结算方法及装置 | |
CN118013188A (zh) | 处理噪声数据的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |