CN114140241A - 一种交易监控指标的异常识别方法及装置 - Google Patents
一种交易监控指标的异常识别方法及装置 Download PDFInfo
- Publication number
- CN114140241A CN114140241A CN202111472903.6A CN202111472903A CN114140241A CN 114140241 A CN114140241 A CN 114140241A CN 202111472903 A CN202111472903 A CN 202111472903A CN 114140241 A CN114140241 A CN 114140241A
- Authority
- CN
- China
- Prior art keywords
- transaction
- monitoring index
- transaction monitoring
- time parameter
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本文涉及数据识别领域,可应用于金融领域,尤其涉及一种交易监控指标的异常识别方法及装置,方法包括:获取交易监控指标的实时交易数据;根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。本文能够在无需人为参与的情况下,高效、准确、全面且自动的识别实时交易数据的异常情况。
Description
技术领域
本文涉及数据监控领域,尤其涉及一种交易监控指标的异常识别方法及装置。
背景技术
现有技术中,对交易监控指标的异常识别一般采用三种方式:第一种是手工方式,该种方式是由人工配置阈值,对超出阈值的指标实时交易数据进行报警;第二种是自动方式,该种方式是由系统统一设置一个阈值,如交易成功率不得低于99%,交易量不得少于1笔/分钟等,根据系统设置的这一阈值进行交易监控指标异常识别;第三种是智能方式,该种方式是使用统计分析,机器学习等算法对交易监控指标分析后进行异常识别。
第一种手工方式往往依赖于指标维护人的经验,维护人的工作能力不同、业务了解不同,会导致指标配置的水平的不稳定性,也会造成人力资源的浪费。
第二种自动方式统一配置,只能解决最低的监控要求,不能进行个性化的配置和分析,无法达到精准监控要求。
第三种智能方式,因为交易监控指标本身具有依赖业务特性及高度不确定性的特点,如果采用单一算法,会导致报警准确率低,误报高;若是采用多算法同时计算的方式,资源开销很大,相同资源消耗下,并发计算的指标数量更低。如果指标数量多,则会造成高时延,无法满足监控时效性的问题。
发明内容
本文用于解决现有技术中的交易监控指标的异常识别方法存在浪费人力及计算资源,不能平衡时效性及精确性的问题。
为了解决上述技术问题,本文的第一方面提供一种交易监控指标的异常识别方法,包括:
获取交易监控指标的实时交易数据,所述交易监控指标的实时交易数据包括交易监控指标在单位时间段内的交易总量;
根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;
将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
作为本文的进一步实施例中,建立所述映射关系的过程包括:
a.对每一交易监控指标的历史交易数据,执行如下过程:
按照时间参数对该交易监控指标的历史交易数据进行划分处理;
根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,其中,统计特征包括均值、标准差、m/n分位数及极差,其中,m和n为正整数,m/n大于0.5;
根据该交易监控指标在各时间参数下的统计特征,确定该交易监控指标在各时间参数下的交易特征;
根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架;
根据该交易监控指标在各时间参数下的历史交易数据,确定该交易监控指标在各时间参数下的异常识别模型框架中的参数,以得到该交易监控指标在各时间参数下的异常识别模型;
b.集合各交易监控指标在各时间参数下的异常识别模型,得到所述映射关系。
作为本文的进一步实施例中,根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,包括:
对该交易监控指标在各时间参数下的历史交易数据分别进行求平均处理,得到该交易监控指标在各时间参数下的均值;
根据该交易监控指标在各时间参数下的历史交易数据及该交易监控指标在各时间参数下的均值,分别计算该交易监控指标在各时间参数下的标准差;
对该交易监控指标在各时间参数下的历史交易数据分别从小到大排序,确定该交易监控指标在各时间参数下的排序结果中m/n的数据为该交易监控指标在各时间参数下的m/n分位数;
分别确定该交易监控指标在各时间参数下的历史交易数据中的极大值及极小值,利用该交易监控指标在各时间参数下的极大值减去极小值分别计算得到该交易监控指标在各时间参数下的极差。
作为本文的进一步实施例中,根据该交易监控指标在各时间参数下的统计特征,确定该交易监控指标在各时间参数下的交易特征,包括:
对该交易监控指标在每一时间参数下的统计特征,执行如下步骤以确定该交易监控指标在该时间参数下的交易特征:
判断该交易监控指标在该时间参数下的m/n分位数是否小于1,若是,则确定该交易监控指标在该时间参数下的交易特征为稀疏性特征;
判断该交易监控指标在该时间参数下的极差/均值是否大于1,若是,则确定该交易监控指标在该时间参数下的交易特征为突发性特征;
判断该交易监控指标在该时间参数下超过x倍标准差的历史交易数据的数据量除以该交易监控指标在该时间参数下的历史交易数据的数据总量是否小于预定置信概率,若是,则确定该交易监控指标在该时间参数下的交易特征为集中性特征;
若该交易监控指标在该时间参数下的交易特征不属于稀疏性特征、突发性特征及集中性特征,则确定该交易监控指标在该时间参数下的交易特征为不稳定特征。
作为本文的进一步实施例中,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架,包括:
对于稀疏性特征,确定无异常识别模型框架;
对于突发性特征,确定异常识别模型框架为最大值聚类算法模型;
对于集中性特征,确定异常识别模型框架为长短期记忆神经网络模型;
对于不稳定性特征,确定异常识别模型框架为孤立森林算法模型。
作为本文的进一步实施例中,交易监控指标的异常识别方法还包括:
判断同一交易监控指标在各时间参数下的交易特征是否均稀疏性特征,若是,则发出重新配置交易监控指标的请求给开发人员。
作为本文的进一步实施例中,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架之前,还包括:
判断该交易监控指标在相邻时间参数下的交易特征是否相同,若相同,则对相邻时间参数进行聚合处理。
本文的第二方面提供一种交易监控指标的异常识别装置,包括:
获取模块,用于获取交易监控指标的实时交易数据,所述交易监控指标的实时交易数据包括交易监控指标在单位时间段内的交易总量;
查找模块,用于根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;
识别模块,用于将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
本文的第三方面提供一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时,执行前述任一实施例所述方法的指令。
本文的第四方面提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机设备的处理器运行时,执行前述任一实施例所述方法的指令。
本文提供的交易监控指标的异常识别方法及装置,通过分交易监控指标、分时间参数及分交易特征的确定各交易监控指标在各时间参数下符合相应交易特征的异常识别模型,能够精确地确定各交易监控指标在各时间参数下的识别算法。在进行异常识别时,通过先获取交易监控指标的实时交易数据,然后查找交易监控指标的实时交易数据及其所属时间参数对应的异常识别模型,最后根据查找到的异常识别模型对交易监控指标的实时交易数据进行异常识别,得到识别结果,能够在无需人为参与的情况下,高效、准确、全面且自动的识别实时交易数据的异常情况,满足复杂交易背景下,对交易监控系统提出的准确监控、高效监控、全面监控的“快准全”要求。
为让本文的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本文的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本文实施例交易监控指标的异常识别系统的结构图;
图2示出了本文实施例交易监控指标的异常识别方法的流程图;
图3示出了本文实施例映射关系建立过程的第一示意图;
图4示出了本文实施例各交易监控指标在各时间参数下的统计特征计算过程的流程图;
图5示出了本文实施例各交易监控指标在各时间参数下的交易特征确定过程的流程图;
图6示出了本文实施例本文实施例映射关系建立过程的第二示意图;
图7示出了本文实施例交易监控指标的异常识别装置的结构图;
图8示出了本文一实施例的异常识别模型的确定装置的结构示意图;
图9示出了本文实施例计算机设备的结构图。
附图符号说明:
110、数据库;
120、模型训练服务器;
130、识别服务器;
140、交易服务器;
150、客户端;
710、获取模块;
720、查找模块;
730、识别模块;
800、获取模块;
801、分组模块;
802、统计特征计算模块;
803、交易特征计算模块;
804、模块框架确定模块;
805、训练模块;
902、计算机设备;
904、处理器;
906、存储器;
908、驱动机构;
910、输入/输出模块;
912、输入设备;
914、输出设备;
916、呈现设备;
918、图形用户接口;
920、网络接口;
922、通信链路;
924、通信总线。
具体实施方式
下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。
需要说明的是,本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或装置产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。
需要说明的是,本文的交易监控指标的异常识别方法及装置可用于金融领域,也可用于除金融领域之外的任意领域,本文的交易监控指标的异常识别方法及装置的应用领域不做限定。
需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
为了克服现有技术中手工及自动配置阈值的方式识别交易监控指标的实时交易数据存在识别精确率低的问题,以及现有技术中采用多种算法识别交易监控指标的实时交易数据存在资源占用率高,实时性差的问题,以及现有技术中采用单一算法识别交易监控指标的实时交易数据存在准确率低的问题。本文一实施例中,提供一种交易监控指标的异常识别系统,如图1所示,交易监控指标的异常识别系统包括:数据库110、模型训练服务器120、识别服务器130及交易服务器140,数据库110连接模型训练服务器120、识别服务器130及交易服务器140,模型训练服务器120连接交易服务器140,识别服务器130连接交易服务器140。
其中,数据库110用于存储模型训练服务器120确定出的各交易监控指标在各时间参数下的异常识别模型的映射关系以及异常识别模型,还用于存储识别服务器130对交易监控指标的实时交易数据的识别结果,还用于存储交易服务器140产生的交易监控指标的实时交易数据。具体实施时,映射关系、异常识别模型、识别结果及实时交易数据可存储于同一数据库110中,还可以存储于不同数据库110中,本文对数据存储方式不做限定。
模型训练服务器120用于从数据库110中获取各交易监控指标的历史交易数据(例如过去两周内产生的各交易监控指标的历史交易数据);分析各交易监控指标的历史交易数据,确定各交易监控指标在各时间参数下的交易特征,其中,交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;根据各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据,确定各交易监控指标在各时间参数下的异常识别模型;建立交易监控指标、时间参数及异常识别模型的映射关系;发送映射关系及异常识别模型至数据库110存储。
识别服务器130用于从交易服务器140获取交易监控指标的实时交易数据;从数据库110获取记录有交易监控指标、时间参数及异常识别模型的映射关系;根据交易监控指标的实时交易数据及其所属的时间参数,从映射关系中查找异常识别模型;从数据库110中调用查找到的异常识别模型,将交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果;发送识别结果至数据库110存储。
交易服务器140为响应用户交易请求的服务器,交易服务器140除响应用户交易请求之外,还用于统计交易监控指标的实时交易数据。本文所述的交易监控指标可由开发人员配置,交易监控指标中至少包括一类型的交易,本文所述的交易并不特指一笔转账或收款等涉及金额变动的操作,一次用户登录操作、查询操作等交互性行为均属于广义范围上的交易。实施时,交易服务器140根据交易监控指标中交易类型,统计相关类型交易每单位时间段(例如每分钟)的交易总量,将相关类型交易单位时间段的交易总量及单位时间段的时间表示(例如8:00至8:01)作为交易监控指标的实时交易数据。例如,交易监控指标A包括:登录交易及查询交易,则将每分钟登录交易及查询交易的交易总量作为交易监控指标A的实时交易数据。
具体实施时,交易监控指标的异常识别系统还可包括客户端150,客户端150指的是安装有与数据库110、模型训练服务器120、识别服务器130及交易服务器140交互的应用程序(APP)。在本说明书一些实施例中,所述客户端150还可以为实体电子设备,例如台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备等。其中,智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。
客户端150与数据库110、模型训练服务器120、识别服务器130及交易服务器140的交互例如为查询识别结果、配置交易监控指标、配置时间参数等,具体实施时,可根据需求设计客户端150的应用程序,本文对此不作限定。
因工作日及不同小时段的交易量存在显著差异,因此,本文所述的时间参数包括:日期段及小时段,日期段可按照工作日及非工作日划分,小时段可按照每小时划分,还可以每半小时划分,每两小时划分等。本文对日期段及小时段具体划分形式不做限定。非工作日可根据国家法定节假日表抽取。
本文所述的稀疏性特征的交易监控指标指不一定每分钟都有交易的监控指标,如夜间的某非核心系统的查询。
本文所述的突发性特征的交易监控指标指有规律的突然发生的交易的监控指标,这种交易在指标数据中通常表现为突刺形状,如每天早上八点的某个秒杀的点击参与。
本文所述的集中性特征的交易监控指标指相对比较平稳集中的交易的监控指标,如工作时间的用户登陆。
本文所述的不稳定性交易监控指标指不满足以上任何特征的交易监控指标,往往呈现不稳定,无可描述规律的现象。
本文所述的交易监控指标、时间参数及异常识别模型的映射关系如下表一所示。
表一
异常识别模型输出的识别结果包括:异常及正常。
本文一实施例中,还提供一种交易监控指标的异常识别方法,用于解决现有技术中的交易监控指标的异常识别方法存在浪费人力及计算资源,不能平衡时效性及精确性的问题,本实施例所述的交易监控指标的异常识别方法可以运行于上述识别服务器,还可应用于智能终端,包括智能手机、平板电脑、台式计算机等,还可以为单独的应用程序、内嵌于其他程序中的小程序等,或者也可以为网页形式等,本文对具体实现方式不做限定。
具体的,如图2所示,交易监控指标的异常识别方法包括:
步骤201,获取交易监控指标的实时交易数据。
步骤202,根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征。
步骤203,将交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
步骤201实施时,可从交易服务器获取交易监控指标的实时交易数据。本文所述交易监控指标的实时交易数据指的是交易监控指标在单位时间段内的交易总量。通常情况下,单位时间段为一分钟,具体实施时,单位时间段还可根据实际需求进行设定,单位时间段用两个时刻表示,例如8:00至8:01。举例来说,假设交易监控指标A,当前时间为08:01分,则交易监控指标A的实时交易数据为交易监控指标A在08:00至08:01内的交易总量。
步骤202实施之前,需要预先确定各交易监控指标在各时间参数下的异常识别模型,并建立交易监控指标、时间参数及异常识别模型的映射关系。异常识别模型及映射关系建立过程可参考后续实施例,此处不再详述。
步骤203实施时,预测得到识别结果后,还包括:当识别结果为异常时,发送提示信息至开发人员,提示信息可包括异常的交易监控指标的实时交易数据。具体实施时,还可设置报警系统,在识别结果为异常时,由报警系统进行报警。报警的方式例如为发出语音、发送邮件或短信等。
本实施例能够在无需人为参与的情况下,高效、准确、全面且自动的识别交易监控指标的实时交易数据的异常情况,能够满足复杂交易背景下,对交易监控系统提出的准确监控、高效监控、全面监控的“快准全”要求。
本文一实施例中,如图3所示,建立映射关系的过程包括:
步骤a,对每一交易监控指标的历史交易数据,执行如下过程:
步骤301,按照时间参数对该交易监控指标的历史交易数据进行划分处理,分组后结果如下表二所示。本文所述的该为一个。
表二
步骤302,根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,其中,统计特征包括均值、标准差、m/n分位数及极差,其中,m和n为正整数,m/n大于0.5。
步骤303,根据该交易监控指标在各时间参数下的统计特征,确定该交易监控指标在各时间参数下的交易特征,步骤303确定该交易监控指标在各时间参数下的交易特征之后,还对交易特征进行标记处理,例如,标记1为稀疏性特征,标记2为突发性特征,标记3为集中性特征,标记4为不稳定特征。
步骤304,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架。
步骤305,根据该交易监控指标在各时间参数下的历史交易数据,确定该交易监控指标在各时间参数下的异常识别模型框架中的参数,以得到该交易监控指标在各时间参数下的异常识别模型。
步骤b,集合各交易监控指标在各时间参数下的异常识别模型,得到所述映射关系。
本实施例能够精确地确定各交易监控指标在各时间参数下的识别算法,进而提高交易监控指标的实时交易数据的识别准确度。
本实施例实施之前,先根据交易监控指标,获取历史交易数据,为了保证异常识别的准确性,可获取最近两周内的历史交易数据。
步骤301实施时,可先按照日期段对历史交易数据进行标记处理,然后按照小时段对历史交易数据进行标记处理,根据历史交易数据的标记即可确定历史交易数据所属的日期段及小时段。例如交易监控指标C的历史交易数据D,其对应的标记为工作日,08:00-09:00。
步骤302实施时,如图4所示,根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,包括:
步骤401,对该交易监控指标在各时间参数下的历史交易数据进行求平均处理,得到该交易监控指标在各时间参数下的均值。例如历史交易数据为过去两周的数据,日期段按照工作日及非工作日划分,小时段按照每小时划分,交易监控指标的历史交易数据为交易监控指标在每分钟的交易总量,则工作日08:00-09:00的历史交易数据的均值计算过程包括:每个工作日08:00-09:00共有60条历史交易数据,则10个工作日有600条历史交易数据,这600条历史交易数据加和后除以600,得到工作日08:00-09:00分组的均值。
步骤402,根据该交易监控指标在各时间参数下的历史交易数据及该交易监控指标在各时间参数下的均值,计算该交易监控指标在各时间参数下的标准差。其中,标准差的计算过程可参考现有技术,本文此处不再详述。
步骤403,对该交易监控指标在各时间参数下的历史交易数据从小到大排序,确定该交易监控指标在各时间参数下的排序结果中处于m/n的数据为该交易监控指标在各时间参数下的m/n分位数。m、n的取值可根据实际需求选定,优选的,m=3,n=4。继续步骤401的例子,工作日08:00-09:00的历史交易数据的m/n分位数计算过程包括:从小到大排序600条历史交易数据,取排序结果中的处于m/n的数据为工作日08:00-09:00的历史交易数据的m/n分位数。
步骤404,确定该交易监控指标在各时间参数下的历史交易数据中的极大值及极小值,利用该交易监控指标在各时间参数下的极大值减去极小值计算得到该交易监控指标在各时间参数下的极差。继续步骤401的例子,工作日08:00-09:00的历史交易数据的极差计算过程包括:从600条历史交易数据中确定极大值及极小值,利用极大值减去极小值得到工作日08:00-09:00的历史交易数据的极差。
步骤303实施时,如图5所示,对每一交易监控指标在每一时间参数下的统计特征,执行如下步骤以确定该交易监控指标在该时间参数下的交易特征:
步骤501,判断该交易监控指标在该时间参数下的m/n分位数是否小于1,若是,则说明前m/n均为0,确定该交易监控指标在该时间参数下的交易特征为稀疏性特征。
步骤502,判断该交易监控指标在该时间参数下的极差/均值是否大于1,若是,则说明极大值远大于极小值,确定该交易监控指标在该时间参数下的交易特征为突发性特征。具体实施时,还可计算每日的极差/均值,根据该交易监控指标在该时间参数下的每日的极差/均值,计算每日的极值/均值的平均值,将计算得到的平均值作为该交易监控指标在该时间参数下的平均相对极值。
步骤503,判断该交易监控指标在该时间参数下的超过x倍标准差的历史交易数据的数据量除以该交易监控指标在该时间参数下的历史交易数据的数据总量是否小于预定置信概率,若是,则确定该交易监控指标在该时间参数下的交易特征为集中性特征。x取值大于或等于1,预定置信概率小于0.32。
步骤504,若该交易监控指标在该时间参数下的交易特征不属于稀疏性特征、突发性特征及集中性特征,即该交易监控指标在该时间参数下的m/n分位数不小于1,该交易监控指标在该时间参数下的极差/均值不大于1,且该交易监控指标在该时间参数下超过x倍标准差的历史交易数据的数据量除以该交易监控指标在该时间参数下的历史交易数据的数据总量大于预定置信概率,则确定该交易监控指标在该时间参数下的交易特征为不稳定特征。
本文对步骤501至步骤503的具体执行顺序不做限定。
步骤304及步骤305实施时,对于稀疏性特征,因大部分时间均不产生交易,因此,可采用静默监控的方式,即对交易监控指标具有稀疏性特征的时间参数下产生的交易不进行交易监控,确定无异常识别模型,而使用应用监控辅助手段,如可用性监控进行监控。
若该交易监控指标在该时间参数下的交易特征为突发性特征,确定该交易监控指标在该时间参数下的异常识别模型框架为最大值聚类算法模型。具体的,利用最大值聚类算法模型识别该交易监控指标在该时间参数下的历史交易数据,得到聚类簇的边界,其中,聚类簇的边界包括未发生突发性交易的正常范围及发生突发性交易的特殊范围;依据正常范围及特殊范围,实现该交易监控指标在该时间参数下的实时交易数据的异常识别。若该交易监控指标在该时间参数下的实时交易数据属于正常范围及异常范围,则判断为正常,若不属于正常范围及异常范围,则判断为异常。采用最大值聚类算法模型能够识别出正常的突发交易,筛选出真正有异常的交易。
若该交易监控指标在该时间参数下的交易特征为集中性特征,确定该交易监控指标在该时间参数下的异常识别模型框架为长短期记忆神经网络模型。根据长短期记忆神经网络模型及该交易监控指标在该时间参数下的历史交易数据,预测得到判断区间,再在判断区间上下加上业务级别所决定的容忍范围,得到最终的判断区间,依据最终的判断区间,实现该交易监控指标在该时间参数下的实时交易数据的异常识别。若该交易监控指标在该时间参数下的实时交易数据属于判断区间,则判断为正常,反之,则为异常。
本文一些实施方式中,若该交易监控指标在该时间参数下的交易特征为集中性特征,还可采用阈值比较方式。利用该交易监控指标在该时间参数下的历史交易数据,通过正态分布统计算法统计得到阈值。具体的,假定稳定的交易符合正态分布特征的基础上,对于不同的交易监控指标所对应的变异系数的不同,变异系数更高,即波动更大的指标,给予更宽泛的置信区间,波动更小的指标给予更低的置信区间。由置信区间,通过累计概率分布模型,计算出其在置信区间内的交易范围,即为阈值。
若该交易监控指标在该时间参数下的交易特征为不稳定性特征,则确定该交易监控指标在该时间参数下的异常识别模型框架为孤立森林算法模型。具体的,利用该交易监控指标在该时间参数下的历史交易数据确定孤立森林算法模型,训练得到的该交易监控指标在该时间参数下的异常识别模型,将模型保存至数据库中。在该交易监控指标在该时间参数下的实时交易数据识别时,将相应异常识别模型加载至内存中,由内存加载的模型识别实时交易数据,判断实时交易数据是否异常。
通过上述步骤304及步骤305建立得到的异常识别模型使得每条单位时间段内的交易监控指标的实时交易数据只会流入一个异常识别模型,且异常识别模型输出的均为该单位时间段内数据是否异常的统一判断接口,因此,本文可以实现对外部报警系统的多指标数据的统一聚合报送。
本文一实施例中,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架还包括:
判断同一交易监控指标在各时间参数下的交易特征是否均稀疏性特征,若是,则说明不符合交易监控指标制度规范,发出重新配置交易监控指标的请求给开发人员。
本文一实施例中,为了节省存储空间,减少后续使用的判断次数,如图6所示,上述步骤304根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架之前,还包括:
步骤303’,判断该交易监控指标在相邻时间参数下的交易特征是否相同,若相同,则对相邻时间参数进行聚合处理。
本文一实施例中,为了提高异常识别模型的精度,在执行上述步骤301之前,先获取历史交易数据,例如为最近两周的历史交易数据;然后对历史交易数据进行预处理,预处理过程包括:对因为供数系统导致的缺失值和供数集群抖动导致的异常值。其中缺失值采取三次样条插值方法处理,异常值用格拉布斯(Grubbs)检验法识别,剔除后同样使用三次样条插值方法处理。对于因为不合规范的数据,如日期数据中包含除数字外的非法字符,通过正则检验进行过滤。通过以上处理手段,保证数据的连续性和可用性。
基于同一发明构思,本文还提供一种交易监控指标的异常识别装置,如下面的实施例所述。由于交易监控指标的异常识别装置解决问题的原理与交易监控指标的异常识别方法相似,因此交易监控指标的异常识别装置的实施可以参见交易监控指标的异常识别方法,重复之处不再赘述。
具体的,如图7所示,交易监控指标的异常识别装置包括:
获取模块710,用于获取交易监控指标的实时交易数据,所述交易监控指标的实时交易数据包括交易监控指标在单位时间段内的交易总量。
查找模块720,用于根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征。
识别模块730,用于将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
本文一实施例中,如图8所示,还提供一种异常识别模型的确定装置,包括:
获取模块800,用户获取各监控指标过去一段时间内(例如两周)的历史交易数据。
分组模块801,用于对每一交易监控指标的历史交易数据,按照时间参数对该交易监控指标的历史交易数据进行划分处理。
统计特征计算模块802,用于根据各交易监控指标在各时间参数下的历史交易数据,计算各交易监控指标在各时间参数下的统计特征,其中,统计特征包括均值、标准差、m/n分位数及极差,其中,m和n为正整数,m/n大于0.5。
交易特征计算模块803,用于根据各交易监控指标在各时间参数下的统计特征,确定各交易监控指标在各时间参数下的交易特征。
模块框架确定模块804,用于根据各交易监控指标在各时间参数下的交易特征,确定各交易监控指标在各时间参数下的异常识别模型框架。
训练模块805,用于根据各交易监控指标在各时间参数下的历史交易数据,确定各交易监控指标在各时间参数下的异常识别模型框架中的参数,以得到各交易监控指标在各时间参数下的异常识别模型。
本文提供的交易监控指标的异常识别方法及装置,通过建立符合各交易监控指标在各时间参数下交易特征的异常识别模型,使得每一交易监控指标的实时交易数据在相应时间参数下仅由一异常识别模型进行识别,从时间成本上,一份数据使用一个异常识别模型,节约了在线分析的宝贵时间,降低了时延。从空间成本上,系统不需要同时对多个异常识别模型进行处理,节约了内存和计算资源,降低了成本。从使用效果上,通过对指标的特征分析分时分类,有针对性的对不同类段指标,采用不同方式,提高了异常发现准确率,降低了误警率,提升了交易监控的监控效果。
本文一实施例中,还提供一种计算机设备,用于实现上述任一实施例所述的方法,具体的,如图9所示,计算机设备902可以包括一个或多个处理器904,诸如一个或多个中央处理单元(CPU),每个处理单元可以实现一个或多个硬件线程。计算机设备902还可以包括任何存储器906,其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的,比如,存储器906可以包括以下任一项或多种组合:任何类型的RAM,任何类型的ROM,闪存设备,硬盘,光盘等。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备902的固定或可移除部件。在一种情况下,当处理器904执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备902可以执行相关联指令的任一操作。计算机设备902还包括用于与任何存储器交互的一个或多个驱动机构908,诸如硬盘驱动机构、光盘驱动机构等。
计算机设备902还可以包括输入/输出模块910(I/O),其用于接收各种输入(经由输入设备912)和用于提供各种输出(经由输出设备914))。一个具体输出机构可以包括呈现设备916和相关联的图形用户接口918(GUI)。在其他实施例中,还可以不包括输入/输出模块910(I/O)、输入设备912以及输出设备914,仅作为网络中的一台计算机设备。计算机设备902还可以包括一个或多个网络接口920,其用于经由一个或多个通信链路922与其他设备交换数据。一个或多个通信总线924将上文所描述的部件耦合在一起。
通信链路922可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路922可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
对应于图2至图6中的方法,本文实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法的步骤。
本文实施例还提供一种计算机可读指令,其中当处理器执行所述指令时,其中的程序使得处理器执行如图2至图6所示的方法。
应理解,在本文的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本文实施例的实施过程构成任何限定。
还应理解,在本文实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本文所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外,在本文各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本文的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本文的方法及其核心思想;同时,对于本领域的一般技术人员,依据本文的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本文的限制。
Claims (10)
1.一种交易监控指标的异常识别方法,其特征在于,包括:
获取交易监控指标的实时交易数据,所述交易监控指标的实时交易数据包括交易监控指标在单位时间段内的交易总量;
根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;
将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
2.如权利要求1所述的交易监控指标的异常识别方法,其特征在于,建立所述映射关系的过程包括:
a.对每一交易监控指标的历史交易数据,执行如下过程:
按照时间参数对该交易监控指标的历史交易数据进行划分处理;
根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,其中,统计特征包括均值、标准差、m/n分位数及极差,其中,m和n为正整数,m/n大于0.5;
根据该交易监控指标在各时间参数下的统计特征,确定该交易监控指标在各时间参数下的交易特征;
根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架;
根据该交易监控指标在各时间参数下的历史交易数据,确定该交易监控指标在各时间参数下的异常识别模型框架中的参数,以得到该交易监控指标在各时间参数下的异常识别模型;
b.集合各交易监控指标在各时间参数下的异常识别模型,得到所述映射关系。
3.如权利要求2所述的交易监控指标的异常识别方法,其特征在于,根据该交易监控指标在各时间参数下的历史交易数据,计算该交易监控指标在各时间参数下的统计特征,包括:
对该交易监控指标在各时间参数下的历史交易数据分别进行求平均处理,得到该交易监控指标在各时间参数下的均值;
根据该交易监控指标在各时间参数下的历史交易数据及该交易监控指标在各时间参数下的均值,分别计算该交易监控指标在各时间参数下的标准差;
对该交易监控指标在各时间参数下的历史交易数据分别从小到大排序,确定该交易监控指标在各时间参数下的排序结果中m/n的数据为该交易监控指标在各时间参数下的m/n分位数;
分别确定该交易监控指标在各时间参数下的历史交易数据中的极大值及极小值,利用该交易监控指标在各时间参数下的极大值减去极小值分别计算得到该交易监控指标在各时间参数下的极差。
4.如权利要求2所述的交易监控指标的异常识别方法,其特征在于,根据该交易监控指标在各时间参数下的统计特征,确定该交易监控指标在各时间参数下的交易特征,包括:
对该交易监控指标在每一时间参数下的统计特征,执行如下步骤以确定该交易监控指标在该时间参数下的交易特征:
判断该交易监控指标在该时间参数下的m/n分位数是否小于1,若是,则确定该交易监控指标在该时间参数下的交易特征为稀疏性特征;
判断该交易监控指标在该时间参数下的极差/均值是否大于1,若是,则确定该交易监控指标在该时间参数下的交易特征为突发性特征;
判断该交易监控指标在该时间参数下超过x倍标准差的历史交易数据的数据量除以该交易监控指标在该时间参数下的历史交易数据的数据总量是否小于预定置信概率,若是,则确定该交易监控指标在该时间参数下的交易特征为集中性特征;
若该交易监控指标在该时间参数下的交易特征不属于稀疏性特征、突发性特征及集中性特征,则确定该交易监控指标在该时间参数下的交易特征为不稳定特征。
5.如权利要求2所述的交易监控指标的异常识别方法,其特征在于,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架,包括:
对于稀疏性特征,确定无异常识别模型框架;
对于突发性特征,确定异常识别模型框架为最大值聚类算法模型;
对于集中性特征,确定异常识别模型框架为长短期记忆神经网络模型;
对于不稳定性特征,确定异常识别模型框架为孤立森林算法模型。
6.如权利要求5所述的交易监控指标的异常识别方法,其特征在于,还包括:
判断同一交易监控指标在各时间参数下的交易特征是否均稀疏性特征,若是,则发出重新配置交易监控指标的请求给开发人员。
7.如权利要求2所述的交易监控指标的异常识别方法,其特征在于,根据该交易监控指标在各时间参数下的交易特征,确定该交易监控指标在各时间参数下的异常识别模型框架之前,还包括:
判断该交易监控指标在相邻时间参数下的交易特征是否相同,若相同,则对相邻时间参数进行聚合处理。
8.一种交易监控指标的异常识别装置,其特征在于,包括:
获取模块,用于获取交易监控指标的实时交易数据,所述交易监控指标的实时交易数据包括交易监控指标在单位时间段内的交易总量;
查找模块,用于根据交易监控指标的实时交易数据及其所属的时间参数,从记录有交易监控指标、时间参数及异常识别模型的映射关系中查找异常识别模型,其中,所述异常识别模型由各交易监控指标在各时间参数下的交易特征及各交易监控指标在各时间参数下的历史交易数据确定,所述交易特征包括稀疏性特征、突发性特征、集中性特征及不稳定性特征;
识别模块,用于将所述交易监控指标的实时交易数据输入至查找到的异常识别模型中,得到识别结果。
9.一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被所述处理器运行时,执行根据权利要求1-7任意一项所述方法的指令。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算机设备的处理器运行时,执行根据权利要求1-7任意一项所述方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111472903.6A CN114140241A (zh) | 2021-12-01 | 2021-12-01 | 一种交易监控指标的异常识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111472903.6A CN114140241A (zh) | 2021-12-01 | 2021-12-01 | 一种交易监控指标的异常识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114140241A true CN114140241A (zh) | 2022-03-04 |
Family
ID=80388117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111472903.6A Pending CN114140241A (zh) | 2021-12-01 | 2021-12-01 | 一种交易监控指标的异常识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140241A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230105138A1 (en) * | 2021-09-30 | 2023-04-06 | Ncr Corporation | Detecting, analyzing, and reporting transaction bottlenecks |
-
2021
- 2021-12-01 CN CN202111472903.6A patent/CN114140241A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230105138A1 (en) * | 2021-09-30 | 2023-04-06 | Ncr Corporation | Detecting, analyzing, and reporting transaction bottlenecks |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
CN112581271B (zh) | 一种商户交易风险监测方法、装置、设备及存储介质 | |
CN113342939B (zh) | 数据质量监控方法、装置及相关设备 | |
CN115423289A (zh) | 智能板材加工车间数据处理方法及终端 | |
CN109857618B (zh) | 一种监控方法、装置及系统 | |
CN110764902A (zh) | 基于ai的虚拟资源分配方法、装置、计算机设备及存储介质 | |
CN115879017A (zh) | 一种电力敏感数据自动化分类分级方法、装置及存储介质 | |
CN113344133A (zh) | 一种时序行为异常波动检测方法及系统 | |
CN111984898A (zh) | 基于大数据的标签推送方法、装置、电子设备及存储介质 | |
CN111339052A (zh) | 一种非结构化日志数据处理方法及装置 | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN117391440A (zh) | 一种企业信息侦察平台及方法 | |
CN114140241A (zh) | 一种交易监控指标的异常识别方法及装置 | |
CN113837481A (zh) | 一种基于区块链的金融大数据管理系统 | |
CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
CN116843395A (zh) | 一种业务系统的告警分级方法、装置、设备及存储介质 | |
CN113485901B (zh) | 基于日志和指标的系统评价方法、装置、设备和介质 | |
CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
CN115860465A (zh) | 一种企业关联数据处理预警方法、系统及装置 | |
CN111179088B (zh) | 一种信息处理方法及装置 | |
CN113393169A (zh) | 基于大数据技术的金融行业交易系统性能指标分析方法 | |
CN112926877A (zh) | 批处理业务的健康情况判断方法、装置、设备及存储介质 | |
CN109508358B (zh) | 一种基于复合优化分析的企业管理效率测度方法 | |
CN113064597B (zh) | 一种冗余代码的识别方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |