CN115080619A - 数据异常阈值确定方法及装置 - Google Patents

数据异常阈值确定方法及装置 Download PDF

Info

Publication number
CN115080619A
CN115080619A CN202210723229.2A CN202210723229A CN115080619A CN 115080619 A CN115080619 A CN 115080619A CN 202210723229 A CN202210723229 A CN 202210723229A CN 115080619 A CN115080619 A CN 115080619A
Authority
CN
China
Prior art keywords
data
transaction
time
determining
average value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210723229.2A
Other languages
English (en)
Inventor
楚慧静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210723229.2A priority Critical patent/CN115080619A/zh
Publication of CN115080619A publication Critical patent/CN115080619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种数据异常阈值确定方法及装置,可用于金融领域,方法包括:采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储;根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据;根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值;本申请能够准确预测数据异常阈值并及时进行异常告警。

Description

数据异常阈值确定方法及装置
技术领域
本申请涉及数据处理领域,也可用于金融领域,具体涉及一种数据异常阈值确定方法及装置。
背景技术
对于银行等金融机构的交易系统而言,监控交易数据的波动及稳定性可以直观反映出从系统层到业务处理全流程的运行情况(是否由于流程中某环节的问题导致了影响了面向客户的交易笔数异常),例如,交易陡降可能表明系统服务器存在CPU冲高或内存溢出问题,交易突增可能表明该时段由部分区域促销活动引起,需集中关注服务器系统状态与性能容量等。
因此,对金融交易数据的监控及自动化报警尤为重要。现有的监控方式是按照人工规则设定固定阈值,或者设定可调整的阈值比例,更进一步,使用以往同时间点的交易数据均值、方差等特征数据,使用3σ相关模型来计算上下阈值。
发明人发现,由于交易数据的分布受到时间、活动等各类人为因素的影响的较大,固定的阈值并不能适应大部分交易数据的波动特点,且数据不一定呈正态分布形态,因此使用3σ模型判断异常区域是不准确的,因此超出阈值的报警对于管理人员而言缺少指导意义。
发明内容
针对现有技术中的问题,本申请提供一种数据异常阈值确定方法及装置,能够准确预测数据异常阈值并及时进行异常告警。
为了解决上述问题中的至少一个,本申请提供以下技术方案:
第一方面,本申请提供一种数据异常阈值确定方法,包括:
采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储;
根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据;
根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
进一步地,所述采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储,包括:
根据设定数据采集频率调用预设数据采集脚本对系统实时交易数据进行采集并根据设定交易时段进行数据划分;
将经过数据划分后的实时交易数据进行持久化存储。
进一步地,所述根据设定交易时段进行数据划分,包括:
根据所述实时交易数据所对应的交易时段类型对所述实时交易数据进行数据划分,其中,所述交易时段类型包括工作日交易日、普通节假日、超级交易日以及自定义交易日中的至少一种。
进一步地,所述根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据,包括:
确定与待预测交易日的所属交易时段类型相同的实时交易数据;
根据设定时间段对该实时交易数据进行数据筛选,确定所述待预测交易日的历史样本数据。
进一步地,所述根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值,包括:
确定所述历史样本数据的数据平均值;
根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值。
进一步地,在所述确定所述历史样本数据的数据平均值之前,包括:
根据预设箱型图异常检测算法对所述历史样本数据进行异常值剔除处理,得到经过异常值剔除处理后的历史样本数据。
进一步地,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据的数据平均值、超过所述数据平均值的历史样本数据的数量以及超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向上波动指数;
根据所述历史样本数据的数据平均值、未超过所述数据平均值的历史样本数据的数量以及未超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向下波动指数。
进一步地,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据中各时间点之间的时长差值确定所述各时间点的时间权重;
根据所述时间权重和所述上下波动指数,确定所述历史样本数据中各时间点的向上向下波动指数的加权平均值。
进一步地,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据的异常指数、离散度、数据平均值以及方差进行归一化处理;
对经过归一化处理结果进行加权计算,确定所述历史样本数据中各时间点的上下波动指数的系数参数。
进一步地,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据中各时间点的上下波动指数的系数参数和时间权重,确定共性加权波动指数的系数参数。
进一步地,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之后,包括:
将实际交易日时的实时交易数据与所述数据异常阈值进行数值比对;
根据数值比对结果执行对应的数据异常告警操作。
第二方面,本申请提供一种数据异常阈值确定装置,包括:
交易数据采集模块,用于采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储;
样本数据确定模块,用于根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据;
异常阈值预测模块,用于根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
进一步地,所述交易数据采集模块包括:
数据划分单元,用于根据设定数据采集频率调用预设数据采集脚本对系统实时交易数据进行采集并根据设定交易时段进行数据划分;
数据存储单元,用于将经过数据划分后的实时交易数据进行持久化存储。
进一步地,所述数据划分单元包括:
交易日类型划分子单元,用于根据所述实时交易数据所对应的交易时段类型对所述实时交易数据进行数据划分,其中,所述交易时段类型包括工作日交易日、普通节假日、超级交易日以及自定义交易日中的至少一种。
进一步地,所述样本数据确定模块包括:
交易类型确定单元,用于确定与待预测交易日的所属交易时段类型相同的实时交易数据;
交易类型筛选单元,用于根据设定时间段对该实时交易数据进行数据筛选,确定所述待预测交易日的历史样本数据。
进一步地,所述异常阈值预测模块包括:
平均值确定单元,用于确定所述历史样本数据的数据平均值;
阈值预测单元,用于根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值。
进一步地,所述平均值确定单元包括:
异常值剔除子单元,用于根据预设箱型图异常检测算法对所述历史样本数据进行异常值剔除处理,得到经过异常值剔除处理后的历史样本数据。
进一步地,所述阈值预测单元包括:
向上波动指数确定子单元,用于根据所述历史样本数据的数据平均值、超过所述数据平均值的历史样本数据的数量以及超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向上波动指数;
向下波动指数确定子单元,用于根据所述历史样本数据的数据平均值、未超过所述数据平均值的历史样本数据的数量以及未超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向下波动指数。
进一步地,所述阈值预测单元包括:
时间权重确定子单元,用于根据所述历史样本数据中各时间点之间的时长差值确定所述各时间点的时间权重;
上下波动指数加权平均确定子单元,用于根据所述时间权重和所述上下波动指数,确定所述历史样本数据中各时间点的向上向下波动指数的加权平均值。
进一步地,所述阈值预测单元包括:
归一化处理子单元,用于根据所述历史样本数据的异常指数、离散度、数据平均值以及方差进行归一化处理;
上下波动指数系数参数确定子单元,用于对经过归一化处理结果进行加权计算,确定所述历史样本数据中各时间点的上下波动指数的系数参数。
进一步地,所述阈值预测单元包括:
共性加权波动指数系数参数确定子单元,用于根据所述历史样本数据中各时间点的上下波动指数的系数参数和时间权重,确定共性加权波动指数的系数参数。
进一步地,所述阈值预测单元包括:
阈值比对子单元,用于将实际交易日时的实时交易数据与所述数据异常阈值进行数值比对;
异常告警子单元,用于根据数值比对结果执行对应的数据异常告警操作。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的数据异常阈值确定方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的数据异常阈值确定方法的步骤。
第五方面,本申请提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的数据异常阈值确定方法的步骤。
由上述技术方案可知,本申请提供一种数据异常阈值确定方法及装置,通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的数据异常阈值确定方法的流程示意图之一;
图2为本申请实施例中的数据异常阈值确定方法的流程示意图之二;
图3为本申请实施例中的数据异常阈值确定方法的流程示意图之三;
图4为本申请实施例中的数据异常阈值确定方法的流程示意图之四;
图5为本申请实施例中的数据异常阈值确定方法的流程示意图之五;
图6为本申请实施例中的数据异常阈值确定方法的流程示意图之六;
图7为本申请实施例中的数据异常阈值确定方法的流程示意图之七;
图8为本申请实施例中的数据异常阈值确定方法的流程示意图之八;
图9为本申请实施例中的数据异常阈值确定装置的结构图之一;
图10为本申请实施例中的数据异常阈值确定装置的结构图之二;
图11为本申请实施例中的数据异常阈值确定装置的结构图之三;
图12为本申请实施例中的数据异常阈值确定装置的结构图之四;
图13为本申请实施例中的数据异常阈值确定装置的结构图之五;
图14为本申请实施例中的数据异常阈值确定装置的结构图之六;
图15为本申请实施例中的数据异常阈值确定装置的结构图之七;
图16为本申请实施例中的数据异常阈值确定装置的结构图之八;
图17为本申请实施例中的数据异常阈值确定装置的结构图之九;
图18为本申请实施例中的数据异常阈值确定装置的结构图之十;
图19为本申请实施例中的数据异常阈值确定装置的结构图之十一;
图20为本申请一具体实施例中的数据异常阈值确定系统的结构图;
图21为本申请一具体实施例中的数据异常阈值确定方法整体流程图;
图22为本申请一具体实施例中的数据异常阈值计算整体流程图;
图23为本申请一具体实施例中的数据异常阈值计算具体流程图;
图24为本申请一具体实施例中的波动参数计算流程图;
图25为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
考虑到现有技术中存在的问题,本申请提供一种数据异常阈值确定方法及装置,通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
为了能够准确预测数据异常阈值并及时进行异常告警,本申请提供一种数据异常阈值确定方法的实施例,参见图1,所述数据异常阈值确定方法具体包含有如下内容:
步骤S1:采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储。
可选的,本申请可以通过设置采集频率,实时调度数据采集脚本,采集最新每个时间点的实时交易数据,并写入交易数据存储装置,其中,对于采集到重复时点数据可以覆盖写入,以防止上游补数系统重写数据。
具体的,可以通过编写python脚本,使用xxl-job任务调度器,将数据写入mysql数据库存储装置。
可选的,本申请可以预先对交易时段进行等级划分,以此来对采集到的实时交易数据进行数据划分。
在一种举例中,本申请可以将全年日期按照工作日交易日(1级)、普通节假日(2级)、超级交易日(3级)、自定义交易日(4级)分为4个等级,每一级的交易日按照不同参照历史数据,来动态计算当日每个时点的上、下边界阈值。
步骤S2:根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据。
可选的,本申请可以通过定位待预测交易日所属的交易时段分类,提前一日确定对应的历史样本数据的获取范围,从而据此计算出次日(及待预测交易日/实际交易日)全天时段每个时间点对应的数据异常阈值。
步骤S3:根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
首先,可选的,本申请可以计算所述历史样本数据的数据平均值,并可以在计算数据平均值前先进行异常值剔除操作。
具体的,对集合中的样本数据进行第一次修正:本发明借鉴Tukey箱型图的异常检测算法,该方法的优势为较广泛适用于反映各类离散型数据的实际特征,不限于服从正态分布的数据样本。先获取集合中所有元素的2个下四分位数
Figure BDA0003712423610000081
和上四分位数
Figure BDA0003712423610000082
其差值为
Figure BDA0003712423610000083
基于箱型图所判断的数据的统计特征,在集合中,小于
Figure BDA0003712423610000084
和大于
Figure BDA0003712423610000085
的数据为异常数据。这种异常的数据基础来源于同时间点纵向对比,第一次异常修正将这些数据剔除。举例,如一组数据-9,1,2,3,4,5,6,7,8,19共10个数据,其四分位数分别为2和7,依照以上计算方法,异常数据容易排查出为-9和19。修正对于波动较平稳的数据样本集合而言变化不明显,但是对于2级以上的分类来说,可以去掉明显的异常噪声点,使数据特征主要反映大数据样本。
由此剔除异常值后,计算修正后的平均值
Figure BDA0003712423610000086
其中
Figure BDA0003712423610000087
为剔除异常值后,时间t的集合中剩余的数据。
然后,可选的,本申请可以计算所述历史样本数据的数据波动特征,所述数据波动特征可以为各时间点处的上下波动指数(包括向上波动指数和向下波动指数)以及由波动指数衍生得到的诸如上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数等能够反应波动特性的参数。
最后,基于数据平均值和数据波动特征,本申请可以确定所述待预测交易日中各时间点的数据异常阈值,以在实际交易日时及时进行数值比对和异常告警。
从上述描述可知,本申请实施例提供的数据异常阈值确定方法,能够通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
为了能够准确采集实时交易数据,在本申请的数据异常阈值确定方法的一实施例中,参见图2,上述步骤S1还可以具体包含如下内容:
步骤S11:根据设定数据采集频率调用预设数据采集脚本对系统实时交易数据进行采集并根据设定交易时段进行数据划分。
步骤S12:将经过数据划分后的实时交易数据进行持久化存储。
可选的,本申请可以通过设置采集频率,实时调度数据采集脚本,采集最新每个时间点的实时交易数据,并写入交易数据存储装置,其中,对于采集到重复时点数据可以覆盖写入,以防止上游补数系统重写数据。
具体的,可以通过编写python脚本,使用xxl-job任务调度器,将数据写入mysql数据库存储装置。
为了能够贴近交易场景,在本申请的数据异常阈值确定方法的一实施例中,上述步骤S11还可以具体包含如下内容:
根据所述实时交易数据所对应的交易时段类型对所述实时交易数据进行数据划分,其中,所述交易时段类型包括工作日交易日、普通节假日、超级交易日以及自定义交易日中的至少一种。
可选的,本申请可以预先对交易时段进行等级划分,以此来对采集到的实时交易数据进行数据划分。
在一种举例中,本申请可以将全年日期按照工作日交易日(1级)、普通节假日(2级)、超级交易日(3级)、自定义交易日(4级)分为4个等级,每一级的交易日按照不同参照历史数据,来动态计算当日每个时点的上、下边界阈值。
其中,1级分类交易特点是工作日总体趋势为先升后降。全天的具体趋势为:工作时间交易数据少,工作时间结束至休息时间内交易数据提升,休息时间交易数据下降。
2级分类交易特点是普通节假日如周末、端午节、劳动节等,总体数据趋势为先升后降。全天具体趋势为:全天交易高峰时段较分散,白天至晚上时段会有持续的交易;与1级分类对比,总体交易量较高。
3级分类交易特点是共识性高的“超级交易日”,如双十一、双十二、618等。与1级、2级分类对比,全天各时段交易数据明显较高。
4级分类交易特点是自定义的特殊交易日,如每月定期营销推广日(如交易高峰时间较固定、数据对比较高的工作日)、特殊节日(交易量整体偏低)等。
为了能够准确确定用于预测计算的历史样本数据,在本申请的数据异常阈值确定方法的一实施例中,参见图3,上述步骤S2还可以具体包含如下内容:
步骤S21:确定与待预测交易日的所属交易时段类型相同的实时交易数据。
步骤S22:根据设定时间段对该实时交易数据进行数据筛选,确定所述待预测交易日的历史样本数据。
可选的,本申请可以通过定位待预测交易日所属的交易时段分类,提前一日确定对应的历史样本数据的获取范围,从而据此计算出次日(及待预测交易日/实际交易日)全天时段每个时间点对应的数据异常阈值。
举例来说,获取待预测交易日(下文成当日)的每个时间点t的可利用数据集合(下文简称集合)。对于t的集合元素的组成,依据当日所属的日期分类选择各自的样本数据,用以下表1展示:
表1历史样本数据表
Figure BDA0003712423610000101
Figure BDA0003712423610000111
为了能够准确预测数据异常阈值,在本申请的数据异常阈值确定方法的一实施例中,参见图4,上述步骤S3还可以具体包含如下内容:
步骤S31:确定所述历史样本数据的数据平均值。
步骤S32:根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值。
可选的,本申请可以计算所述历史样本数据的数据平均值,并可以在计算数据平均值前先进行异常值剔除操作。本申请可以计算所述历史样本数据的数据波动特征,所述数据波动特征可以为各时间点处的上下波动指数(包括向上波动指数和向下波动指数)以及由波动指数衍生得到的诸如上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数等能够反应波动特性的参数。基于数据平均值和数据波动特征,本申请可以确定所述待预测交易日中各时间点的数据异常阈值,以在实际交易日时及时进行数值比对和异常告警。
为了能够提高数据平均值的准确性,在本申请的数据异常阈值确定方法的一实施例中,上述步骤S3还可以具体包含如下内容:
根据预设箱型图异常检测算法对所述历史样本数据进行异常值剔除处理,得到经过异常值剔除处理后的历史样本数据。
可选的,本申请可以计算所述历史样本数据的数据平均值,并可以在计算数据平均值前先进行异常值剔除操作。
具体的,对集合中的样本数据进行第一次修正:本发明借鉴Tukey箱型图的异常检测算法,该方法的优势为较广泛适用于反映各类离散型数据的实际特征,不限于服从正态分布的数据样本。先获取集合中所有元素的2个下四分位数
Figure BDA0003712423610000121
和上四分位数
Figure BDA0003712423610000122
其差值为
Figure BDA0003712423610000123
基于箱型图所判断的数据的统计特征,在集合中,小于
Figure BDA0003712423610000124
和大于
Figure BDA0003712423610000125
的数据为异常数据。这种异常的数据基础来源于同时间点纵向对比,第一次异常修正将这些数据剔除。举例,如一组数据-9,1,2,3,4,5,6,7,8,19共10个数据,其四分位数分别为2和7,依照以上计算方法,异常数据容易排查出为-9和19。修正对于波动较平稳的数据样本集合而言变化不明显,但是对于2级以上的分类来说,可以去掉明显的异常噪声点,使数据特征主要反映大数据样本。
由此剔除异常值后,计算修正后的平均值
Figure BDA0003712423610000126
其中
Figure BDA0003712423610000127
为剔除异常值后,时间t的集合中剩余的数据。
为了能够准确计算上下波动指数,在本申请的数据异常阈值确定方法的一实施例中,参见图5,上述步骤S3还可以具体包含如下内容:
步骤S33:根据所述历史样本数据的数据平均值、超过所述数据平均值的历史样本数据的数量以及超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向上波动指数。
步骤S34:根据所述历史样本数据的数据平均值、未超过所述数据平均值的历史样本数据的数量以及未超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向下波动指数。
可选的,本申请可以计算时间点t的向上波动指数。对于每个时间点t的可利用数据集合,若其中的所有元素的平均数μt
Figure BDA0003712423610000128
其向上波动指数
Figure BDA0003712423610000129
Figure BDA0003712423610000131
其中
Figure BDA0003712423610000132
为集合中大于xt的某个元素,
Figure BDA0003712423610000133
Figure BDA0003712423610000134
为集合中大于xt的元素的总数目。
同理,本申请可以计算时间点t的向下波动指数
Figure BDA0003712423610000135
Figure BDA0003712423610000136
其中
Figure BDA0003712423610000137
为时间点t的集合中小于xt的某个元素,
Figure BDA00037124236100001320
为时间点t的集合中小于xt的元素的总数目。
可以理解的是,对于金融交易系统而言,数据趋势下降比上升反映出的问题重要性不同,下降往往会表明在系统等层面存在隐患问题,在数据波动因子的计算上需要把两种情况分开。
由此,本申请的数据异常阈值(包括上限阈值和下限阈值)的最终计算公式为:
Figure BDA0003712423610000139
A.其中
Figure BDA00037124236100001310
Figure BDA00037124236100001311
为t时间点的集合中所有元素的向上、向下波动指数的加权平均值,即:
Figure BDA00037124236100001312
其中mt为时间ti的权重。
Figure BDA00037124236100001313
该参数可由时间差计算可得,时间相差越大,权重越小。该计算方式可以使时间点t的集合中,靠近t的时间点数据权重更大,且加权和为1。其中
Figure BDA00037124236100001314
为计算加权平均值所使用的所有时间点的总数。
B.其中
Figure BDA00037124236100001315
为波动指数的系数参数,通过计算所得。这里以
Figure BDA00037124236100001316
的计算为例,
Figure BDA00037124236100001317
的计算方法类似,由异常指数、离散度、均值和方差归一化后的加权和计算所得,其中ri,i=1,2,3,4选取1,2,3这样的较小的正整数:
Figure BDA00037124236100001318
Figure BDA00037124236100001319
为共性加权波动指数的系数参数,本申请可以使用以上计算的方法,计算得到横向集合中各日期内t时点的参数值,其后利用时间时间ti的权重
Figure BDA0003712423610000141
再求出最终的加权参数和。
为了能够准确计算上下波动指数的加权平均值,在本申请的数据异常阈值确定方法的一实施例中,参见图6,上述步骤S3还可以具体包含如下内容:
步骤S35:根据所述历史样本数据中各时间点之间的时长差值确定所述各时间点的时间权重。
步骤S36:根据所述时间权重和所述上下波动指数,确定所述历史样本数据中各时间点的向上向下波动指数的加权平均值。
由上述内容可知,
Figure BDA0003712423610000142
Figure BDA0003712423610000143
为t时间点的集合中所有元素的向上、向下波动指数的加权平均值,即:
Figure BDA0003712423610000144
其中mt为时间ti的权重。
Figure BDA0003712423610000145
该参数可由时间差计算可得,时间相差越大,权重越小。该计算方式可以使时间点t的集合中,靠近t的时间点数据权重更大,且加权和为1。其中
Figure BDA0003712423610000146
为计算加权平均值所使用的所有时间点的总数。
为了能够准确计算上下波动指数的系数参数,在本申请的数据异常阈值确定方法的一实施例中,参见图7,上述步骤S3还可以具体包含如下内容:
步骤S37:根据所述历史样本数据的异常指数、离散度、数据平均值以及方差进行归一化处理。
步骤S38:对经过归一化处理结果进行加权计算,确定所述历史样本数据中各时间点的上下波动指数的系数参数。
由上述内容可知,
Figure BDA0003712423610000147
为波动指数的系数参数,通过计算所得。这里以
Figure BDA0003712423610000148
的计算为例,
Figure BDA0003712423610000149
的计算方法类似,由异常指数、离散度、均值和方差归一化后的加权和计算所得,其中ri,i=1,2,3,4,选取1,2,3这样的较小的正整数:
Figure BDA00037124236100001410
为了能够准确计算共性加权波动指数的系数参数,在本申请的数据异常阈值确定方法的一实施例中,上述步骤S3还可以具体包含如下内容:
根据所述历史样本数据中各时间点的上下波动指数的系数参数和时间权重,确定共性加权波动指数的系数参数。
由上述内容可知,
Figure BDA0003712423610000151
为共性加权波动指数的系数参数,本申请可以使用以上计算的方法,计算得到横向集合中各日期内t时点的参数值,其后利用时间ti的权重
Figure BDA0003712423610000152
再求出最终的加权参数和。
为了能够准确根据阈值进行告警,在本申请的数据异常阈值确定方法的一实施例中,参见图8,还可以具体包含如下内容:
步骤S41:将实际交易日时的实时交易数据与所述数据异常阈值进行数值比对。
步骤S42:根据数值比对结果执行对应的数据异常告警操作。
可选的,本申请可以对超出阈值数据进行告警,例如将当天实际交易数据与动态阈值进行对比,对于超过上、下阈值范围的数据,存在以下情况进行报警:
(1)第一次超过阈值的时间点开始进行标注——当此后连续5个时间点(假设单位时间为1分钟)都超出阈值,或者达到连续10个时间点上下波动范围不超过30%,但平均值超过该10个点阈值平均值,则联动告警装置进行告警展示。
(2)临界阈值以内%10范围内的数据,对第一次临界的时间点进行标注,若有连续上升、下降超过5个时点的数据,则联动告警装置进行告警展示,属于预示报警。
此外,本申请还可以进行数据监控及展示流程,例如将当日交易数据、往期固定时间(考虑到展示性能最优时,所能承担的数据范围有限)范围的历史数据、以及所有可展示时段的动态阈值在监控平台面板进行展示,提示所有告警时间范围供管理人员查看处理。页面同时可提供4级分类自定义窗口、日期分类调整窗口等。
为了能够准确预测数据异常阈值并及时进行异常告警,本申请提供一种用于实现所述数据异常阈值确定方法的全部或部分内容的数据异常阈值确定装置的实施例,参见图9,所述数据异常阈值确定装置具体包含有如下内容:
交易数据采集模块10,用于采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储。
样本数据确定模块20,用于根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据。
异常阈值预测模块30,用于根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
从上述描述可知,本申请实施例提供的数据异常阈值确定装置,能够通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
为了能够准确采集实时交易数据,在本申请的数据异常阈值确定装置的一实施例中,参见图10,所述交易数据采集模块10包括:
数据划分单元11,用于根据设定数据采集频率调用预设数据采集脚本对系统实时交易数据进行采集并根据设定交易时段进行数据划分。
数据存储单元12,用于将经过数据划分后的实时交易数据进行持久化存储。
为了能够贴近交易场景,在本申请的数据异常阈值确定装置的一实施例中,参见图11,所述数据划分单元11包括:
交易日类型划分子单元111,用于根据所述实时交易数据所对应的交易时段类型对所述实时交易数据进行数据划分,其中,所述交易时段类型包括工作日交易日、普通节假日、超级交易日以及自定义交易日中的至少一种。
为了能够准确确定用于预测计算的历史样本数据,在本申请的数据异常阈值确定装置的一实施例中,参见图12,所述样本数据确定模块20包括:
交易类型确定单元21,用于确定与待预测交易日的所属交易时段类型相同的实时交易数据。
交易类型筛选单元22,用于根据设定时间段对该实时交易数据进行数据筛选,确定所述待预测交易日的历史样本数据。
为了能够准确预测数据异常阈值,在本申请的数据异常阈值确定装置的一实施例中,参见图13,所述异常阈值预测模块30包括:
平均值确定单元31,用于确定所述历史样本数据的数据平均值。
阈值预测单元32,用于根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值。
为了能够提高数据平均值的准确性,在本申请的数据异常阈值确定装置的一实施例中,参见图14,所述平均值确定单元31包括:
异常值剔除子单元311,用于根据预设箱型图异常检测算法对所述历史样本数据进行异常值剔除处理,得到经过异常值剔除处理后的历史样本数据。
为了能够准确计算上下波动指数,在本申请的数据异常阈值确定装置的一实施例中,参见图15,所述阈值预测单元32包括:
向上波动指数确定子单元321,用于根据所述历史样本数据的数据平均值、超过所述数据平均值的历史样本数据的数量以及超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向上波动指数。
向下波动指数确定子单元322,用于根据所述历史样本数据的数据平均值、未超过所述数据平均值的历史样本数据的数量以及未超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向下波动指数。
为了能够准确计算上下波动指数的加权平均值,在本申请的数据异常阈值确定装置的一实施例中,参见图16,所述阈值预测单元32包括:
时间权重确定子单元323,用于根据所述历史样本数据中各时间点之间的时长差值确定所述各时间点的时间权重。
上下波动指数加权平均确定子单元324,用于根据所述时间权重和所述上下波动指数,确定所述历史样本数据中各时间点的向上向下波动指数的加权平均值。
为了能够准确计算上下波动指数的系数参数,在本申请的数据异常阈值确定装置的一实施例中,参见图17,所述阈值预测单元32包括:
归一化处理子单元325,用于根据所述历史样本数据的异常指数、离散度、数据平均值以及方差进行归一化处理。
上下波动指数系数参数确定子单元326,用于对经过归一化处理结果进行加权计算,确定所述历史样本数据中各时间点的上下波动指数的系数参数。
为了能够准确计算共性加权波动指数的系数参数,在本申请的数据异常阈值确定装置的一实施例中,参见图18,所述阈值预测单元32包括:
共性加权波动指数系数参数确定子单元327,用于根据所述历史样本数据中各时间点的上下波动指数的系数参数和时间权重,确定共性加权波动指数的系数参数。
为了能够准确根据阈值进行告警,在本申请的数据异常阈值确定装置的一实施例中,参见图19,所述阈值预测单元32包括:
阈值比对子单元328,用于将实际交易日时的实时交易数据与所述数据异常阈值进行数值比对。
异常告警子单元329,用于根据数值比对结果执行对应的数据异常告警操作。
为了更进一步说明本方案,本申请还提供一种应用上述数据异常阈值确定装置实现数据异常阈值确定方法的系统的具体应用实例,参见图20,具体包含有如下内容:
D001交易数据采集装置、D002数据级别分类装置、D003交易数据存储装置、D004动态阈值生成装置、D005动态阈值存储装置、D006自动告警装置、D007可视化监控装置。
其中,D001交易数据采集装置负责采集金融系统的实时交易数据。
D002数据级别分类装置负责将所有时间段按照交易情况划分为3个等级:工作日为1级,周末及正常节假日为2级,特殊交易日(如双十一及营销活动日)为3级。
D003交易数据存储装置负责存储D001采集的金融交易数据,含当日实时数据与往期历史数据。
D004动态阈值生成装置通过计算统一级别内交易数据的特征指标,生成动态阈值。
D005动态阈值存储装置用于存储生成的动态阈值。
D006自动告警装置,用于实时监控数据是否超出阈值范围并联动告警。
D007可视化监控装置用于监控当日即历史真实交易数据变化趋势,并展示生成的动态阈值,提供部分可人工修改的参数在屏幕面板展示窗口,对异常数据和告警信息进行集中化展示。
基于上述系统,本申请提供了一种数据异常阈值确定方法的具体实施例,其整体流程如图21所示:
步骤S001,交易数据采集流程。通过设置采集频率,实时调度数据采集脚本,采集最新每个时间点的金融系统实时交易数据,并负责写入交易数据存储装置。对于采集到重复时点数据需要覆盖写入,以防止上游补数系统重写数据。通过编写python脚本,使用xxl-job任务调度器,将数据写入mysql数据库存储装置。
步骤S002,交易时段等级划分。将全年日期按照工作日交易日(1级)、普通节假日(2级)、超级交易日(3级)、自定义交易日(4级)分为4个等级,每一级的交易日按照不同参照历史数据,来动态计算当日每个时点的上、下边界阈值。
(1)1级分类交易特点:工作日总体趋势为先升后降。全天的具体趋势为:工作时间交易数据少,工作时间结束至休息时间内交易数据提升,休息时间交易数据下降。
(2)2级分类交易特点:普通节假日如周末、端午节、劳动节等,总体数据趋势为先升后降。全天具体趋势为:全天交易高峰时段较分散,白天至晚上时段会有持续的交易;与1级分类对比,总体交易量较高。
(3)3级分类交易特点:共识性高的“超级交易日”,如双十一、双十二、618等。与1级、2级分类对比,全天各时段交易数据明显较高。
(4)4级分类交易特点:自定义的特殊交易日,如每月定期营销推广日(如交易高峰时间较固定、数据对比较高的工作日)、特殊节日(交易量整体偏低)等。
其中,日期分类需提前进行(如提前一年或提前一月),可以随时根据需要调整日期所属的分类。
步骤S003,计算生成动态阈值。通过定位所预测动态阈值生成日期所属的分类,提前一日通过次日日期所属分类中的生成的历史数据范围,计算出次日全天时段的阈值,每个时间点都有对应的阈值,并存放至存储装置做第二天的展示。
步骤S004,超出阈值数据告警。将当天实际交易数据与动态阈值进行对比,对于超过上、下阈值范围的数据,存在以下情况进行报警:
(1)第一次超过阈值的时间点开始进行标注——当此后连续5个时间点(假设单位时间为1分钟)都超出阈值,或者达到连续10个时间点上下波动范围不超过30%,但平均值超过该10个点阈值平均值,则联动告警装置进行告警展示。
(2)临界阈值以内%10范围内的数据,对第一次临界的时间点进行标注,若有连续上升、下降超过5个时点的数据,则联动告警装置进行告警展示,属于预示报警。
步骤S005,数据监控及展示流程。将当日交易数据、往期固定时间(考虑到展示性能最优时,所能承担的数据范围有限)范围的历史数据、以及所有可展示时段的动态阈值在监控平台面板进行展示,提示所有告警时间范围供管理人员查看处理。页面同时可提供4级分类自定义窗口、日期分类调整窗口等。
其中,步骤S003的具体实现过程可以参见图22:
步骤S101,获取次日日期所属时间分类,即执行计算目标阈值所在当天日期的分类。
步骤S102,获取预测当日日期(下文成当日)的每个时间点t的可利用数据集合(下文简称集合)。对于t的集合元素的组成,依据当日所属的日期分类选择各自的样本数据。
步骤S103,计算每个时间点的动态阈值。
其中,上、下限阈值的计算过程可以参考图23:
步骤S201,剔除异常数据,对集合中的样本数据进行第一次修正:本发明借鉴Tukey箱型图的异常检测算法,该方法的优势为较广泛适用于反映各类离散型数据的实际特征,不限于服从正态分布的数据样本。先获取集合中所有元素的2个下四分位数
Figure BDA0003712423610000201
和上四分位数
Figure BDA0003712423610000202
其差值为
Figure BDA0003712423610000203
基于箱型图所判断的数据的统计特征,在集合中,小于
Figure BDA0003712423610000204
和大于
Figure BDA0003712423610000205
的数据为异常数据。这种异常的数据基础来源于同时间点纵向对比,第一次异常修正将这些数据剔除。举例,如一组数据-9,1,2,3,4,5,6,7,8,19共10个数据,其四分位数分别为2和7,依照以上计算方法,异常数据容易排查出为-9和19。修正对于波动较平稳的数据样本集合而言变化不明显,但是对于2级以上的分类来说,可以去掉明显的异常噪声点,使数据特征主要反映大数据样本。
步骤S202,剔除异常值后,计算修正后的平均值
Figure BDA0003712423610000206
其中
Figure BDA0003712423610000207
为剔除异常值后,时间t的集合中剩余的数据。
步骤S203,计算时间点t的向上波动指数。对于每个时间点t的可利用数据集合,若其中的所有元素的平均数μt
Figure BDA0003712423610000208
其向上波动指数
Figure BDA0003712423610000209
Figure BDA00037124236100002010
其中
Figure BDA00037124236100002011
为集合中大于xt的某个元素,
Figure BDA00037124236100002012
Figure BDA00037124236100002013
为集合中大于xt的元素的总数目。
步骤S204,类似步骤S203中的方法,计算时间点t的向下波动指数
Figure BDA00037124236100002014
Figure BDA0003712423610000211
其中
Figure BDA0003712423610000212
为时间点t的集合中小于xt的某个元素,
Figure BDA0003712423610000213
Figure BDA0003712423610000214
为时间点t的集合中小于xt的元素的总数目。对于金融交易系统而言,数据趋势下降比上升反映出的问题重要性不同,下降往往会表明在系统等层面存在隐患问题,在数据波动因子的计算上需要把两种情况分开。
步骤S205,计算动态上限阈值与下限阈值。利用S202分别为:
Figure BDA0003712423610000215
C.其中
Figure BDA0003712423610000216
Figure BDA0003712423610000217
为t时间点的集合中所有元素的向上、向下波动指数的加权平均值,即:
Figure BDA0003712423610000218
其中mt为时间ti的权重。
Figure BDA0003712423610000219
该参数可由时间差计算可得,时间相差越大,权重越小。该计算方式可以使时间点t的集合中,靠近t的时间点数据权重更大,且加权和为1。其中
Figure BDA00037124236100002110
为计算加权平均值所使用的所有时间点的总数。
D.其中
Figure BDA00037124236100002111
为波动指数的系数参数,通过计算所得。这里以
Figure BDA00037124236100002112
的计算为例,
Figure BDA00037124236100002113
的计算方法类似,由异常指数、离散度、均值和方差归一化后的加权和计算所得,其中ri,i=1,2,3,4选取1,2,3这样的较小的正整数:
Figure BDA00037124236100002114
Figure BDA00037124236100002115
为共性加权波动指数的系数参数,我们使用以上计算的方法,计算得到横向集合中各日期内t时点的参数值,其后利用时间时间ti的权重
Figure BDA00037124236100002116
再求出最终的加权参数和。
其中,计算波动指数的参数所需的因子计算流程参见图24如下:
步骤S301,定义时间点t的横向可利用集合(下文简称横向集合)样本数据。横向集合即考虑有日期先后关系的、考虑整体变化波动情况的影响。这里我们对各级别的数据,采用如下表2所示:
表2历史样本数据表
Figure BDA0003712423610000221
步骤S302,计算时间点t的横向集合中经过一次修正的均值
Figure BDA0003712423610000222
方差
Figure BDA0003712423610000223
对计算当天的数据进行归一计算:
Figure BDA0003712423610000224
步骤S303,计算离散度。获取时间t经过步骤S204剔除的大于μt的异常值,对于异常程度较高的值,通过公式
Figure BDA0003712423610000225
为上限进行一次筛选,其中h为正数如4可根据需要改变。大于该上限的值将不纳入本步骤参考值内。使用公式
Figure BDA0003712423610000226
其中
Figure BDA0003712423610000227
为计算需保留的异常值。并利用t的横向集合上的所有离散度数据进行归一化计算,得到
Figure BDA0003712423610000228
步骤S304,计算异常指数。异常指数使用
Figure BDA0003712423610000229
来表示差异相对均值的异常程度。并利用t的横向集合上的所有离散度数据进行归一化计算,得到
Figure BDA00037124236100002210
说明,计算向下波动方差的系数时,使用步骤S302中的异常值取小于μt且大于下限
Figure BDA0003712423610000231
的异常值进行相应计算即可。
有上述内容可知,本申请至少还可以实现以下技术效果:
1.解决了现有技术中人工定义的、固定的专家阈值,通过使用实时采集数据和历史数据,可自动化计算出具有时效性的动态阈值,使报警更加准确。
2.建立了时间段等级分类体系,将日期按照交易属性分成多级,并预留各交易系统自适应的等级及样本采集方法;考虑到日期、星期、节日、超级交易日、连续日影响等多重因子,使计算出的阈值更符合金融交易系统的特征。
3.通过箱型图进行一次修正,后续又逐步引入离散度、异常指数等归一化影响因子,通过考虑横向与纵向可利用数据集合的多维体系,形成更全面的动态阈值计算系统。
4.考虑到连续多次超出阈值的情况、临界阈值且数次接近阈值的情况,更准确、及时地反馈报警提示,避免了个别点交易异常报警的问题,提升运维效率。
5.将所有实时与历史数据、动态阈值、自定义日期分类调整窗口集成可视化页面,使金融交易系统的各层监控人员均可以直观地、及时地、全面地掌握数据信息。
从硬件层面来说,为了能够准确预测数据异常阈值并及时进行异常告警,本申请提供一种用于实现所述数据异常阈值确定方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现数据异常阈值确定装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输;该逻辑控制器可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该逻辑控制器可以参照实施例中的数据异常阈值确定方法的实施例,以及数据异常阈值确定装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
可以理解的是,所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中,数据异常阈值确定方法的部分可以在如上述内容所述的电子设备侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
图25为本申请实施例的电子设备9600的系统构成的示意框图。如图25所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图25是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,数据异常阈值确定方法功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
步骤S1:采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储。
步骤S2:根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据。
步骤S3:根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
从上述描述可知,本申请实施例提供的电子设备,通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
在另一个实施方式中,数据异常阈值确定装置可以与中央处理器9100分开配置,例如可以将数据异常阈值确定装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现数据异常阈值确定方法功能。
如图25所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图25中所示的所有部件;此外,电子设备9600还可以包括图25中没有示出的部件,可以参考现有技术。
如图25所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数据异常阈值确定方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的数据异常阈值确定方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤S1:采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储。
步骤S2:根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据。
步骤S3:根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
从上述描述可知,本申请实施例提供的计算机可读存储介质,通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数据异常阈值确定方法中全部步骤的一种计算机程序产品,该计算机程序/指令被处理器执行时实现所述的数据异常阈值确定方法的步骤,例如,所述计算机程序/指令实现下述步骤:
步骤S1:采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储。
步骤S2:根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据。
步骤S3:根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
从上述描述可知,本申请实施例提供的计算机程序产品,通过根据设定交易时段对采集到的实时交易数据进行数据划分,以此使得预测的数据异常阈值更加贴合交易场景特征,同时基于数据平均值和数据波动特征进行预测,能够准确预测数据异常阈值并及时进行异常告警。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据异常阈值确定方法,其特征在于,所述方法包括:
采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储;
根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据;
根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
2.根据权利要求1所述的数据异常阈值确定方法,其特征在于,所述采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储,包括:
根据设定数据采集频率调用预设数据采集脚本对系统实时交易数据进行采集并根据设定交易时段进行数据划分;
将经过数据划分后的实时交易数据进行持久化存储。
3.根据权利要求2所述的数据异常阈值确定方法,其特征在于,所述根据设定交易时段进行数据划分,包括:
根据所述实时交易数据所对应的交易时段类型对所述实时交易数据进行数据划分,其中,所述交易时段类型包括工作日交易日、普通节假日、超级交易日以及自定义交易日中的至少一种。
4.根据权利要求1所述的数据异常阈值确定方法,其特征在于,所述根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据,包括:
确定与待预测交易日的所属交易时段类型相同的实时交易数据;
根据设定时间段对该实时交易数据进行数据筛选,确定所述待预测交易日的历史样本数据。
5.根据权利要求1所述的数据异常阈值确定方法,其特征在于,所述根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值,包括:
确定所述历史样本数据的数据平均值;
根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值。
6.根据权利要求5所述的数据异常阈值确定方法,其特征在于,在所述确定所述历史样本数据的数据平均值之前,包括:
根据预设箱型图异常检测算法对所述历史样本数据进行异常值剔除处理,得到经过异常值剔除处理后的历史样本数据。
7.根据权利要求5所述的数据异常阈值确定方法,其特征在于,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据的数据平均值、超过所述数据平均值的历史样本数据的数量以及超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向上波动指数;
根据所述历史样本数据的数据平均值、未超过所述数据平均值的历史样本数据的数量以及未超过所述数据平均值的历史样本数据,确定所述历史样本数据各时间点的向下波动指数。
8.根据权利要求7所述的数据异常阈值确定方法,其特征在于,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据中各时间点之间的时长差值确定所述各时间点的时间权重;
根据所述时间权重和所述上下波动指数,确定所述历史样本数据中各时间点的向上向下波动指数的加权平均值。
9.根据权利要求8所述的数据异常阈值确定方法,其特征在于,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据的异常指数、离散度、数据平均值以及方差进行归一化处理;
对经过归一化处理结果进行加权计算,确定所述历史样本数据中各时间点的上下波动指数的系数参数。
10.根据权利要求9所述的数据异常阈值确定方法,其特征在于,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之前,包括:
根据所述历史样本数据中各时间点的上下波动指数的系数参数和时间权重,确定共性加权波动指数的系数参数。
11.根据权利要求1所述的数据异常阈值确定方法,其特征在于,在所述根据所述历史样本数据的数据平均值、上下波动指数、上下波动指数的加权平均值、上下波动指数的系数参数以及共性加权波动指数的系数参数,确定所述待预测交易日中各时间点的数据异常上下限阈值之后,包括:
将实际交易日时的实时交易数据与所述数据异常阈值进行数值比对;
根据数值比对结果执行对应的数据异常告警操作。
12.一种数据异常阈值确定装置,其特征在于,包括:
交易数据采集模块,用于采集实时交易数据并根据设定交易时段进行数据划分,将经过数据划分后的实时交易数据进行存储;
样本数据确定模块,用于根据待预测交易日的所属交易时段确定对应的实时交易数据作为历史样本数据;
异常阈值预测模块,用于根据所述历史样本数据的数据平均值和数据波动特征,确定所述待预测交易日中各时间点的数据异常阈值。
13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至11任一项所述的数据异常阈值确定方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至11任一项所述的数据异常阈值确定方法的步骤。
15.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至11任一项所述的数据异常阈值确定方法的步骤。
CN202210723229.2A 2022-06-24 2022-06-24 数据异常阈值确定方法及装置 Pending CN115080619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210723229.2A CN115080619A (zh) 2022-06-24 2022-06-24 数据异常阈值确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210723229.2A CN115080619A (zh) 2022-06-24 2022-06-24 数据异常阈值确定方法及装置

Publications (1)

Publication Number Publication Date
CN115080619A true CN115080619A (zh) 2022-09-20

Family

ID=83254775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210723229.2A Pending CN115080619A (zh) 2022-06-24 2022-06-24 数据异常阈值确定方法及装置

Country Status (1)

Country Link
CN (1) CN115080619A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115664038A (zh) * 2022-12-27 2023-01-31 山东科华电力技术有限公司 一种用于电气安全管理的智能配电运维监控系统
CN117273749A (zh) * 2023-11-21 2023-12-22 青岛巨商汇网络科技有限公司 一种基于智能交互的交易管理方法及系统
CN117555892A (zh) * 2024-01-10 2024-02-13 江苏省生态环境大数据有限公司 大气污染物多模式融合核算模型后处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115664038A (zh) * 2022-12-27 2023-01-31 山东科华电力技术有限公司 一种用于电气安全管理的智能配电运维监控系统
CN117273749A (zh) * 2023-11-21 2023-12-22 青岛巨商汇网络科技有限公司 一种基于智能交互的交易管理方法及系统
CN117555892A (zh) * 2024-01-10 2024-02-13 江苏省生态环境大数据有限公司 大气污染物多模式融合核算模型后处理方法
CN117555892B (zh) * 2024-01-10 2024-04-02 江苏省生态环境大数据有限公司 大气污染物多模式融合核算模型后处理方法

Similar Documents

Publication Publication Date Title
CN115080619A (zh) 数据异常阈值确定方法及装置
CN106127363B (zh) 一种用户信用评估方法和装置
CN114138625A (zh) 服务器健康状态的评估方法、系统、电子设备和存储介质
CN112200659A (zh) 建立风控模型的方法、装置及存储介质
CN113962745A (zh) 基于prophet模型及大数据的销量预测方法和系统
CN110992190A (zh) 基于用户画像的资产配置方法及装置
CN110659922A (zh) 一种客户筛选方法、装置、服务器及计算机可读存储介质
CN113592641A (zh) 一种基于知识图谱的风险预警方法及存储介质
JP6978582B2 (ja) 予測業務支援装置および予測業務支援方法
CN114782169A (zh) 一种客户流失率预警方法及装置
CN117011031A (zh) 利用大数据信息处理技术的智能金融风险监测与预警平台
CN111738507A (zh) 银行清算头寸资金备付量预测方法和装置、设备及介质
CN111461871A (zh) 额度控制方法、装置、设备与计算机可读存储介质
CN111583010A (zh) 一种数据处理方法、装置、设备及存储介质
CN116485517A (zh) 一种智能信贷服务管理系统
CN114612220A (zh) 风控策略调整方法、装置、电子设备以及存储介质
US8326575B1 (en) Machine-based population stability index selection
CN111951011A (zh) 监控系统阈值确定方法及装置
Cavaliere Asymptotics for unit root tests under Markov regime‐switching
CN114219611A (zh) 贷款额度计算方法、装置、计算机设备和存储介质
CN112116166A (zh) 信用风险指标预测方法及装置
CN112085497A (zh) 用户账户数据的处理方法及装置
CN112035324A (zh) 批量作业执行情况监控方法及装置
CN113407827A (zh) 基于用户价值分类的信息推荐方法、装置、设备及介质
CN112907362A (zh) 贷款业务的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination