CN116228429A - 一种检测交易数据的方法和装置 - Google Patents
一种检测交易数据的方法和装置 Download PDFInfo
- Publication number
- CN116228429A CN116228429A CN202310264946.8A CN202310264946A CN116228429A CN 116228429 A CN116228429 A CN 116228429A CN 202310264946 A CN202310264946 A CN 202310264946A CN 116228429 A CN116228429 A CN 116228429A
- Authority
- CN
- China
- Prior art keywords
- transaction
- data
- detection
- model
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 359
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000013179 statistical model Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种检测交易数据的方法和装置,涉及移动互联技术领域。该方法的一具体实施方式包括:能够根据待检测的交易数据的交易业务类型以及所归属的交易接口和交易渠道,从多种预设的全局检测模型和/或单元检测模型中,查找匹配的一种或多种目标检测模型,并利用查找到的目标检测模型实时检测交易数据。本发明的实施例通过为交易业务类型构建全局检测模型、并为不同交易接口和不同交易渠道的组合确定构建单元检测模型,以利用多种检测模型对交易数据进行检测,提高了检测交易数据中异常数据的准确性、实时性和检测的精细化程度,提高了检测数据的效率。
Description
技术领域
本发明涉及金融科技技术领域,尤其涉及一种检测交易数据的方法和装置。
背景技术
在数字经济时代,越来越多的业务平台提供了多种交易类型的交易业务,并且通常在多个渠道上提供进行交易类型的业务;对于业务场景分散、业务体量较大的业务平台,业务平台提供方需要实时地检测交易业务关联的交易数据,以监控业务平台的交易变化和交易风险。
现有的检测交易数据的方法通常是将全部交易类型和全部渠道的数据汇总到数据库,然后基于数据库进行交易数据的统计和检测;现有的方法存在检测数据的实时性较差以及检测数据的灵活性和扩展性较低的问题。
发明内容
有鉴于此,本发明实施例提供一种检测交易数据的方法和装置,能够根据待检测的交易数据的交易业务类型以及所归属的交易接口和交易渠道,从多种预设的全局检测模型和/或单元检测模型中,查找匹配的一种或多种目标检测模型,并利用查找到的目标检测模型检测交易数据。本发明的实施例,通过为交易业务类型构建全局检测模型以及为不同交易接口不同交易渠道的组合构建单元检测模型,以利用不同的检测模型对交易数据进行检测,提高了检测交易数据中异常数据的准确性和检测的精细化程度,提高了检测数据的效率。
为实现上述目的,根据本发明实施例的一个方面,提供了一种检测交易数据的方法,其特征在于,包括:响应于实时检测接收到的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;利用所述目标检测模型检测所述交易数据,并将检测结果发送给交易管理端。
可选地,所述检测交易数据的方法,在所述查找与所述业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型之后,进一步包括:将一种或多种所述目标检测模型加载到内存中;所述利用所述目标检测模型检测所述交易数据,包括:利用加载到内存中的所述目标检测模型检测所述交易数据。
可选地,所述检测交易数据的方法,还包括:在完成检测之后并且在判断出所述目标检测模型满足卸载条件的情况下,从内存中卸载所述目标检测模型。
可选地,所述检测交易数据的方法,还包括:每一个所述单元检测模型包括预设统计模型以及输入所述预设统计模型的单元样本数据;所述为所述预设的检测模型包括的所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建单元检测模型,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易接口和多种交易渠道的组合,获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据,计算出所述交易接口和多种所述交易渠道的所述组合的单元样本数据。
可选地,所述检测交易数据的方法,还包括:所述全局检测模型包括预设统计模型以及输入所述预设统计模型的全局样本数据;为所述预设的检测模型包括的为每一种所述交易业务类型构建全局检测模型,包括:确定计算所述全局样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易业务类型,获取所述交易业务类型中包含的各个所述交易接口和多种交易渠道的组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据计算出所述交易业务类型对应的全局样本数据。
可选地,所述针对每一种交易接口和多种交易渠道的组合,根据所述交易接口和多种交易渠道的组合的历史交易数据,计算出所述组合对应的单元样本数据,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;针对所述组合中的所述交易接口的每一个所述检测指标,执行:获取所述检测指标在每一种所述交易渠道下的样本数据;根据所述检测指标的各个所述样本数据,计算所述检测指标的第一统计值,并根据所述第一统计值与所述检测指标在各个交易渠道下的第二统计值之间的概率,计算出所述检测指标的信息熵;基于所述检测指标的所述信息熵,计算出所述检测指标在全部检测指标中的熵权权重;结合各个所述检测指标以及所述检测指标对应的熵权权重,得到所述交易接口和多种交易渠道的所述组合对应的单元样本数据。
可选地,所述针对每一种交易业务类型,根据所述交易业务类型的历史交易数据计算出所述交易业务类型对应的全局样本数据,包括:确定所述交易业务类型包含的每一种交易接口以及每一种所述交易接口对应的多种交易渠道;针对每一种交易接口以及每一种所述交易接口对应的多种交易渠道的组合,执行计算所述组合对应的单元样本数据的步骤;结合每一个组合对应的单元样本数据,确定所述交易业务类型的全局样本数据。
可选地,所述检测交易数据的方法,进一步包括:所述检测指标包含统计交易指标、时序类交易指标;所述确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标,包括:基于所述检测指标对应的历史交易数据的统计数据确定一个或多个所述统计交易指标;利用时间序列模型,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征;基于所述检测指标对应的历史交易数据的统计数据以及一种或多种所述时序特征确定一个或多个所述时序类交易指标。
可选地,针对每一种交易接口和多种交易渠道的组合,在获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据之后,进一步包括:对所述历史交易数据进行预处理操作,其中,所述预处理操作包括:离散度分析、缺失值填充、数据平滑处理、剔除异常数据中的一种或多种。
可选地,所述利用所述目标检测模型检测所述交易数据,包括:在所述目标检测模型为单元检测模型的情况下,基于所述单元检测模型包括的预设统计模型以及输入所述预设统计模型的单元样本数据,计算所述交易数据与所述单元样本数据的第一差值,根据所述第一差值检测所述交易数据;在所述目标检测模型为全局检测模型的情况下,基于所述全局检测模型包括的预设统计模型以及输入所述预设统计模型的全局样本数据,计算所述交易数据与所述全局样本数据的第二差值,根据所述第二差值检测所述交易数据。
可选地,所述检测交易数据的方法,还包括:利用分布式消息模型采集多个交易业务类型的交易数据;其中,每一种交易业务类型的所述交易数据由调用所述交易业务类型的一种或多种交易接口所产生。
为实现上述目的,根据本发明实施例的第二方面,提供了一种检测交易数据的装置,其特征在于,包括:接收数据模块、确定模型模块和检测数据模块;其中,
所述接收数据模块,用于响应于实时检测从客户端接收的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;
所述确定模型模块,用于从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;
所述检测数据模块,用于利用所述目标检测模型检测所述交易数据,并将检测结果发送给发送交易管理端。
可选地,所述检测交易数据的装置,用于在所述查找与所述业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型之后,进一步包括:将一种或多种所述目标检测模型加载到内存中;所述利用所述目标检测模型检测所述交易数据,包括:利用加载到内存中的所述目标检测模型检测所述交易数据。
可选地,所述检测交易数据的装置,还用于在完成检测之后并且在判断出所述目标检测模型满足卸载条件的情况下,从内存中卸载所述目标检测模型。
可选地,所述检测交易数据的装置,还用于每一个所述单元检测模型包括预设统计模型以及输入所述预设统计模型的单元样本数据;所述为所述预设的检测模型包括的所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建单元检测模型,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易接口和多种交易渠道的组合,获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据,计算出所述交易接口和多种所述交易渠道的所述组合的单元样本数据。
可选地,所述检测交易数据的装置,所述全局检测模型包括预设统计模型以及输入所述预设统计模型的全局样本数据;为所述预设的检测模型包括的为每一种所述交易业务类型构建全局检测模型,包括:确定计算所述全局样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易业务类型,获取所述交易业务类型中包含的各个所述交易接口和多种交易渠道的组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据计算出所述交易业务类型对应的全局样本数据。
可选地,所述检测交易数据的装置,用于针对每一种交易接口和多种交易渠道的组合,根据所述交易接口和多种交易渠道的组合的历史交易数据,计算出所述组合对应的单元样本数据,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;针对所述组合中的所述交易接口的每一个所述检测指标,执行:获取所述检测指标在每一种所述交易渠道下的样本数据;根据所述检测指标的各个所述样本数据,计算所述检测指标的第一统计值,并根据所述第一统计值与所述检测指标在各个交易渠道下的第二统计值之间的概率,计算出所述检测指标的信息熵;基于所述检测指标的所述信息熵,计算出所述检测指标在全部检测指标中的熵权权重;结合各个所述检测指标以及所述检测指标对应的熵权权重,得到所述交易接口和多种交易渠道的所述组合对应的单元样本数据。
可选地,所述检测交易数据的装置,用于针对每一种交易业务类型,根据所述交易业务类型的历史交易数据计算出所述交易业务类型对应的全局样本数据,包括:确定所述交易业务类型包含的每一种交易接口以及每一种所述交易接口对应的多种交易渠道;针对每一种交易接口以及每一种所述交易接口对应的多种交易渠道的组合,执行计算所述组合对应的单元样本数据的步骤;结合每一个组合对应的单元样本数据,确定所述交易业务类型的全局样本数据。
可选地,所述检测交易数据的装置,包括所述检测指标包含统计交易指标、时序类交易指标;所述确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标,包括:基于所述检测指标对应的历史交易数据的统计数据确定一个或多个所述统计交易指标;利用时间序列模型,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征;基于所述检测指标对应的历史交易数据的统计数据以及一种或多种所述时序特征确定一个或多个所述时序类交易指标。
可选地,所述检测交易数据的装置,用于针对每一种交易接口和多种交易渠道的组合,在获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据之后,进一步包括:对所述历史交易数据进行预处理操作,其中,所述预处理操作包括:离散度分析、缺失值填充、数据平滑处理、剔除异常数据中的一种或多种。
可选地,所述检测交易数据的装置,用于利用所述目标检测模型检测所述交易数据,包括:在所述目标检测模型为单元检测模型的情况下,基于所述单元检测模型包括的预设统计模型以及输入所述预设统计模型的单元样本数据,计算所述交易数据与所述单元样本数据的第一差值,根据所述第一差值检测所述交易数据;在所述目标检测模型为全局检测模型的情况下,基于所述全局检测模型包括的预设统计模型以及输入所述预设统计模型的全局样本数据,计算所述交易数据与所述全局样本数据的第二差值,根据所述第二差值检测所述交易数据。
可选地,所述检测交易数据的装置,还用于利用分布式消息模型采集多个交易业务类型的交易数据;其中,每一种交易业务类型的所述交易数据由调用所述交易业务类型的一种或多种交易接口所产生。
为实现上述目的,根据本发明实施例的第三方面,提供了一种检测交易数据的电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述检测交易数据的方法中任一所述的方法。
为实现上述目的,根据本发明实施例的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上述检测交易数据的方法中任一所述的方法。
为实现上述目的,根据本发明实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,其特征在于,所述程序被处理器执行时实现如上述检测交易数据的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:通过为交易业务类型确定对应的全局检测模型、为不同交易接口不同交易渠道的组合确定出单元检测模型,以利用不同的检测模型对该交易业务类型的交易数据进行实时检测,提高了检测交易数据中异常数据的准确性、实时性和检测的精细化程度,提高了检测数据的效率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明一个实施例提供的一种检测交易数据的方法的流程示意图;
图2是本发明一个实施例提供的一种检测交易数据的平台的结构示意图;
图3是本发明一个实施例提供的一种检测交易数据的装置的结构示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。本申请技术方案中对数据的获取、存储、使用、处理均符合国家法律法规的相关规定。
如图1所示,本发明实施例提供了一种检测交易数据的方法,该方法可以包括以下步骤:
步骤S101:响应于实时检测接收到的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道。
具体地,接收交易数据的方式可以是由应用系统推送的得到的,或者通过从多个应用系统的数据源采集得到,或者是通过分布式消息中心通过实时消息的互动进而获取交易数据等;交易数据为应用系统在多种交易业务类型下的经由多种交易接口、多种交易渠道所产生的数据,例如交易数据为经由一个或多个交易接口产生的交易量、或者经由交易接口产生的交易金额等,其中交易接口例如为处理交易业务代码中所使用的API(Application Programming Interface,应用程序编程接口)。
进一步地,交易业务类型由应用场景所设定,例如,交易业务类型可以为支付业务、收款业务、金融产品买入卖出等;多种交易接口可以应用于在多种页面中,例如交易业务类型以支付业务为例,例如支付业务包含支付接口1、支付接口2、支付接口3,其中,支付接口1、支付接口2、支付接口3即为交易接口,不同的交易接口可以用于不同的支付场景;例如在产品详情页面进行支付的业务场景、或者在订单页面进行支付的业务场景、或者在购物车页面进行支付的业务场景等多种;进一步地,多种交易渠道为关联于交易业务类型的交易方式,仍以支付业务为例,多种交易渠道例如包括:通过银行应用支付,或者通过第三方应用支付,或者通过银行小程序支付等。本发明对所述交易数据所属交易接口以及交易渠道的具体内容和形式不做限定。即,响应于为某一种交易业务类型,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道。
进一步地优选地,在本发明的实施例中,利用分布式消息模型采集多个交易业务类型的交易数据;其中,每一种交易业务类型的所述交易数据由运行所述交易业务类型的一种或多种交易接口所产生。例如,针对不同的交易接口,利用与交易接口绑定的分布式消息采集模块采集针对该交易接口产生的实时交易数据,并利用集群模式的分布式消息中心获取从各个分布式消息采集模块采集到的消息,从而通过消息携带的交易数据信息获取到待检测的交易数据。其中,每一种交易业务类型的所述交易数据由运行所述交易业务类型的一种或多种交易接口所产生;以支付业务为例,例如对应的多种交易接口对应的不同页面包括产品详情页面、订单页面、购物车页面等多种;其中,页面的管理端(例如前端)可以根据应用场景通过埋点的方式获取交易数据、交易数据关联的日志、能够体现交易数据的关联数据(例如:交易量、交易金额等)。
步骤S102:从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种。
具体地,针对接收到的交易数据的交易业务类型,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型,在本发明的实施例中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;由此可见,本发明的检测模型从不同维度、不同检测需求可以提供不同的检测模型,提高了针对交易数据检测的精细程度,从而提高了针对交易数据检测的准确性、实时性和效率。
多个单元检测模型中的每一个单元检测模型关联于多种交易接口和多种交易渠道的组合中的一种;针对同一个交易业务类型,可以设置有多种单元检测模型、和/或全局检测模型;交易业务类型以支付业务类型为例,可以为交易接口A分别在银行A的APP、银行B小程序、第三方APP分别构建单元检测模型;可以为交易接口B分别在银行A的APP、银行B小程序、第三方APP构建对应的单元检测模型;支付业务的全局检测模型为针对支付业务类型所构建,例如包含多个交易接口和多个交易渠道的检测模型;即,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种。
进一步地,在为交易业务类型查找到对应的一个或多个目标检测模型(包括单元检测模型和/或全局检测模型)之后,将目标检测模型加载到内存中,在利用所述目标检测模型检测所述交易数据完成之后,判断出目标检测模型满足卸载条件的情况下,从内存中卸载所述目标检测模型;其中,目标检测模型的卸载条件例如为:当前不存在当前的交易业务类型的交易数据待检测,或者已经完成全部交易数据的检测,或者达到设定的卸载时间点,或者接收到触发卸载目标监测模型的消息等多种条件。由此可见,通过将目标检测模型加载到内存,提高了检测交易数据的速度;通过卸载目标检测模型降低了内存资源的消耗。在模型卸载阶段除了卸载目标检测模型,还可以将与目标检测模型一起加载的配置信息(例如模型规则、门限值、关键词矩阵)等同时卸载。即,在所述查找与所述业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型之后,进一步包括:将一种或多种所述目标检测模型加载到内存中;所述利用所述目标检测模型检测所述交易数据,包括:利用加载到内存中的所述目标检测模型检测所述交易数据。进一步地,在完成检测之后并且在判断出所述目标检测模型满足卸载条件的情况下,从内存中卸载所述目标检测模型。
进一步地,本发明的实施例提供了构建单元检测模型以及全局检测模型的方法。
具体地,针对单元检测模型的构建方法,包括构建单元检测模型中的预设统计模型以及计算输入所述预设统计模型的单元样本数据。即,每一个所述单元检测模型包括预设统计模型以及输入所述预设统计模型的单元样本数据;
进一步地,预设统计模型可以为基于数据的绝对中位差MAD(median absolutedeviation)算法构建的预设统计模型,通过MAD模型提高了处理数据波动较大的应用场景(例如证券金融的)下的业务类型的检测效率;预设统计模型还可以利用统计数据的散点图、箱体图、距离测算、聚类模型等多种,可以理解的是,可以根据历史交易数据的分布变更,更新单元检测模型的计算方法或者模型参数,进一步提高了检测交易数据的准确性和效率。
在本发明的实施例中,以MAD为例说明预设统计模型,MAD的计算公式如公式(1)所示:
MAD=C×median|Si-median(S)|(1)其中,置信区间为Si∈(median-k×MAD,median+k×MAD),C和k为MAD模型的参数,可以根据实际应用场景调整C和k,从而调整置信区间,从而满足预设统计模型的精准度要求;S为输入所述预设统计模型的单元样本数据(或者全局样本数据);Si为待检测的交易数据(例如交易量等)。
首先,说明为单元检测模型计算输入所述预设统计模型的单元样本数据的方法:
为所述预设的检测模型包括的所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建单元检测模型,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易接口和多种交易渠道的组合,获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据,计算出所述交易接口和多种所述交易渠道的所述组合的单元样本数据。
在本发明的一个实施例中,确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标,具体地针对某一个交易接口,交易数据以交易量为例,针对某一个时间范围内确定的7个检测指标分别为:交易接口平均交易量、交易接口峰值交易量、交易接口交易量前序设定时间范围的环比、交易接口交易量前日同序变动同比、交易接口交易量前周同序变动同比、交易接口交易量前月同日同序变动同比、交易接口交易量上年同月日同序变动同比。
进一步地,根据所述各个检测指标对应的历史交易数据,计算出所述交易接口和多种所述交易渠道的所述组合的单元样本数据。
所述检测指标包含统计交易指标、时序类交易指标;其中,统计交易指标例如为:交易接口平均交易量、交易接口峰值交易量为;时序类交易指标例如为:交易接口交易量前序设定时间范围的环比、交易接口交易量前日同序变动同比、交易接口交易量前周同序变动同比、交易接口交易量前月同日同序变动同比、交易接口交易量上年同月日同序变动同比等;其中,提取时序类交易指标的方法可以利用利用时间序列模型,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征;具体地,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征,由于交易数据与时间具有直接关联关系,因此进一步从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征,例如,一天的交易接口交易量、一个月的交易接口交易量、某一个时间点的交易接口交易量环比数据、某一个时间点的交易接口交易量的同比数据等周期性特征,平稳特征例如利用单元检测指标的历史交易数据在时间维度计算最值差值法、统计学方法、百分数衡量法等方法判断数据是否稳定,漂移特征例如当历史交易数据的分布随着时间推移逐渐发生变化,需要检测数据和用于确定模型的数据分布是否出现明显的漂移,在本发明的一个实施例中,可以通过时间序列算法Holt-Winters算法进行历史交易数据叠加之后的偏离度预测以及进行历史交易数据的时序特征统计等,以获取到一种或多种时序特征;由此可见,通过从历史交易数据中获取与时间维度相关的时序特征,进一步提高了单元检测模型的准确性和扩展性。进一步地,基于所述检测指标对应的历史交易数据的统计数据以及一种或多种所述时序特征确定一个或多个所述时序类交易指标。即,所述确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标,包括:基于所述检测指标对应的历史交易数据的统计数据确定一个或多个所述统计交易指标;利用时间序列模型,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征;基于所述检测指标对应的历史交易数据的统计数据以及一种或多种所述时序特征确定一个或多个所述时序类交易指标。
优选地,针对构建单元检测模型或全局检测模型所使用的历史交易数据进行预处理,通过提高历史交易数据的有效性,从而提高单元检测模型的准确性、降低计算出单元检测模型或全局检测模型的计算资源;具体地,数据预处理操作例如包括离散度分析、缺失值填充、数据平滑处理、剔除异常数据中的一种或多种,进一步基于预处理后的数据确定出检测指标的单元样本数据或全局样板数据。即,针对每一种交易接口和多种交易渠道的组合,在获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据之后,进一步包括:对所述历史交易数据进行预处理操作,其中,所述预处理操作包括:离散度分析、缺失值填充、数据平滑处理、剔除异常数据中的一种或多种。
进一步地,针对每一种交易接口和多种交易渠道的组合,根据所述交易接口和多种交易渠道的组合的历史交易数据,计算出所述组合对应的单元样本数据,包括:确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;例如:用Ci代表7个检测指标如下:
Ci={C1,C2,C3,C4,C5,C6,C7},i={1,2,3,4,5,6,7}
假设有n个交易渠道,表示为j={1,2,3,...,n};
则,针对所述组合中的所述交易接口的每一个所述检测指标,执行下面的步骤:
1)获取所述检测指标在每一种所述交易渠道下的样本数据;根据所述检测指标的各个所述样本数据,计算所述检测指标的第一统计值;
具体地,例如针对每一个检测指标,基于历史交易数据进行该检测指标的样本数据的归一标准化,归一标准化的计算为:针对Ci在每一个渠道的样本数据组表示为Cij,进行归一标准化的计算(即计算所述检测指标的第一统计值),计算公式例如为:
Xij=(Cij-min(Ci))/(max(Ci)-min(Ci))
其中,min代表最小值,max代表最大值,Xij代表第一统计值;
2)并根据所述第一统计值与所述检测指标在各个交易渠道下的第二统计值之间的概率,计算出所述检测指标的信息熵;其中,第二统计值为Xij在n个交易渠道的和,即为所述检测指标在各个交易渠道下的第二统计值;根据如下公式可知,Pij代表概率,分子代表第一统计值,分母代表检测指标在各个交易渠道下的第二统计值。
进一步地,根据所述第一统计值与所述检测指标在各个交易渠道下的第二统计值之间的概率,计算出所述检测指标的信息熵;计算信
息熵的方法如下述公式所示:
其中,Ei代表该检测指标的信息熵。
则针对7个检测指标,每一个检测指标的信息熵表示为:Ei={E1,E2,E3,E4,E5,E6,E7},i={1,2,3,4,5,6,7}
3)基于所述检测指标的所述信息熵,计算出所述检测指标在全部检测指标中的熵权权重;
具体地,利用下述公式计算出所述检测指标在全部检测指标中的熵权权重;其中,Wi代表熵权权重,在本发明的实施例中,k=7;
进一步地,通过循环步骤1)-3)可以计算出每一个检测指标的熵权权重。
4)结合各个所述检测指标以及所述检测指标对应的熵权权重,得到所述交易接口和多种交易渠道的所述组合对应的单元样本数据。
具体地,利用下述公式得到所述交易接口和多种交易渠道的所述组合对应的单元样本数据:
其中,b代表交易接口的数量,BW代表不同的交易接口对应的权重数组;
在b=1且BW=1的情况下,S代表该单元检测模型的单元样本数据;计算出的S代表单元检测模型的单元样本数据。
进一步地,说明为全局检测模型计算输入所述预设统计模型的全局样本数据的方法:可以理解的是,一种全局检测模型可以对应于一种交易业务类型,一种交易业务类型可以包含多种交易接口,每一种交易接口对应有多种交易渠道,可见全局检测模型的全局样本数据包含的检测指标可以与单元检测模型一致;因此,针对计算全局样本数据中的每一种交易接口,计算方法可以与计算单元样本数据的步骤一致,在此不再赘述;即,所述针对每一种交易业务类型,根据所述交易业务类型的历史交易数据计算出所述交易业务类型对应的全局样本数据,包括:确定所述交易业务类型包含的每一种交易接口以及每一种所述交易接口对应的多种交易渠道;针对每一种交易接口以及每一种所述交易接口对应的多种交易渠道的组合,执行计算所述组合对应的单元样本数据的步骤;结合每一个组合对应的单元样本数据,确定所述交易业务类型的全局样本数据。
进一步地,仍以下述公式为例,说明全局样本数据;
其中b代表交易接口的数量,BW代表不同的交易接口对应的权重数组;在b>1的情况下,S代表该全局检测模型的全局样本数据;即根据所述各个检测指标对应的历史交易数据计算出所述交易业务类型对应的全局样本数据。即,所述全局检测模型包括预设统计模型以及输入所述预设统计模型的全局样本数据;为所述预设的检测模型包括的为每一种所述交易业务类型构建全局检测模型,包括:确定计算所述全局样本数据所需的针对所述交易接口的多个检测指标;针对每一种交易业务类型,获取所述交易业务类型中包含的各个所述交易接口和多种交易渠道的组合中的各个检测指标对应的历史交易数据;根据所述各个检测指标对应的历史交易数据计算出所述交易业务类型对应的全局样本数据。
步骤S103:利用所述目标检测模型检测所述交易数据,并将检测结果发送给发送交易管理端。
具体地,利用确定出的一个或多个目标检测模型检测所述交易数据,并将检测结果发送给交易管理端,检测结果可以包括是否存在异常数据、异常数据的详细信息、可视化异常数据的多种样式、异常数据分析等,使得交易管理端可以基于接收到的实时检测结果,针对性地进一步进行处理。其中,交易管理端可以是客户端、服务端等。
进一步地,所述利用所述目标检测模型检测所述交易数据,包括:
1)在所述目标检测模型为单元检测模型的情况下,基于所述单元检测模型包括的预设统计模型以及输入所述预设统计模型的单元样本数据,计算所述交易数据与所述单元样本数据的第一差值,根据所述第一差值检测所述交易数据;具体地,根据公式(1)所描述的预设统计模型,在目标检测模型为单元检测模型的情况下,S为单元样本数据,则根据公式(1)计算所述交易数据与所述单元样本数据的第一差值,判断第一差值是否在预设的交易数据阈值范围内,例如:是否在预设交易量范围内,如果是,则判断出该交易数据未存在异常,即根据所述第一差值检测所述交易数据;
2)在所述目标检测模型为全局检测模型的情况下,基于所述全局检测模型包括的预设统计模型以及输入所述预设统计模型的全局样本数据,计算所述交易数据与所述全局样本数据的第二差值,根据所述第二差值检测所述交易数据。
具体地,根据公式(1)所描述的预设统计模型,在目标检测模型为单元检测模型的情况下,S为全局样本数据,则根据公式(1)计算所述交易数据与所述全局样本数据的第二差值,判断第二差值是否在预设的交易数据阈值范围内,例如:是否在预设交易量范围内,如果是,则判断出该交易数据未存在异常,即根据所述第二差值检测所述交易数据。
可以理解的是,不同类型的交易管理端可以具有不同的检测业务范围,根据不同的检测业务范围可以确定检测交易数据所使用的单元检测模型和/或全局检测模型。
如图2所示,本发明实施例提供了一种检测交易数据的平台的结构示意图;包括:业务平台201和异常监测平台202;
在本发明的实施例中,可以通过业务平台201和异常监测平台202中的多个组件、以及组件之间的交互完成自动检测交易数据的流程;例如:业务平台201通过多个分布式消息采集组件结合数据获取操作,从对应的业务场景系统(例如为使用多个交易接口的业务场景)、该交易接口对应的交易渠道(例如多种应用等)的多种交易数据。业务平台201与异常检测平台202包括的分布式消息中心进行消息和交易数据传输。
异常检测平台202包括分布式消息中心、异常检测系统、运营模块等组件;其中,异常检测平台202包括的分布式消息中心(例如为集群模式)可以完成接收消息,通过接收交易数据模块、存储交易数据模块、故障恢复模块(用于集群模式下在宕机的情况下从交易数据的数据源中拉取数据进行恢复以保证平台和数据的稳定性)等保持与业务平台201的交易数据交互的有效性和效率;同时分布式消息中心还可以接收异常检测系统发送的检测预警消息并实时发送给交易管理端;异常检测系统例如包括确定检测模型加载监测模型、检测交易数据、获取检测结果等模块,通过各个模块执行本发明实施例的方法的流程;运营模块可以执行发送异常视图、监测模型更新、获取模型配置、维护检测结果等多种操作,通过运营模块接收交易管理端与模型相关的配置信息(例如:交易业务类型、一种或多种交易接口、一种或多种交易渠道等),还可以记录、存储、分析、维护检测结果,将异常结果(例如异常视图)发送给交易管理端等操作;通过不同的组件,降低了异常检测流程中的耦合性以提高检测数据的可靠性。优选地,异常检测平台202还包括各种检测模型(全局检测模型、单元检测模型)的动态模型训练和计算;可以理解的是,交易数据存在多种波动的概率较大,因此通过对各种检测模型进行动态更新,以保持检测模型的实时性从而提高检测实时交易数据的准确性。
如图3所示,本发明实施例提供了一种检测交易数据的装置300,包括:接收数据模块301、确定模型模块302和检测数据模块303;其中,
所述接收数据模块301,用于响应于实时检测从客户端接收的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;
所述确定模型模块302,用于从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;
所述检测数据模块303,用于利用所述目标检测模型检测所述交易数据,并将检测结果发送给发送交易管理端。
本发明实施例还提供了一种检测交易数据的电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机程序产品,包括计算机程序,其特征在于,所述程序被处理器执行时实现上述任一实施例提供的方法。
图4示出了可以应用本发明实施例的检测交易数据的方法或检测交易数据的装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种客户端应用,例如电子商城客户端应用、网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。
终端设备401、402、403可以是具有显示屏并且支持各种客户端应用的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所使用的客户端应用系统提供支持的后台管理服务器。后台管理服务器可以对接收到实时交易数据进行检测,并将检测结果反馈给终端设备。
需要说明的是,本发明实施例所提供的检测交易数据的方法一般由服务器405执行,相应地,检测交易数据的装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收数据模块、确定模型模块和检测数据模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,检测数据模块模块还可以被描述为“利用目标检测模型检测所述交易数据的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:响应于检测接收到的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;利用所述目标检测模型检测所述交易数据,并将检测结果发送给交易管理端。
本发明的实施例,能够根据待检测的交易数据的交易业务类型以及所归属的交易接口和交易渠道,从多种预设的全局检测模型和/或单元检测模型中,查找匹配的一种或多种目标检测模型,并利用查找到的目标检测模型检测交易数据。本发明的实施例,通过为交易业务类型确定全局检测模型、为不同交易接口、不同交易渠道组合确定出单元检测模型,以利用不同的检测模型对交易数据进行检测,提高了检测交易数据中异常数据的准确性和检测的精细化程度,提高了检测数据的效率。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (15)
1.一种检测交易数据的方法,其特征在于,包括:
响应于检测接收到的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;
从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;
利用所述目标检测模型检测所述交易数据,并将检测结果发送给交易管理端。
2.根据权利要求1所述的方法,其特征在于,在所述查找与所述业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型之后,进一步包括:
将一种或多种所述目标检测模型加载到内存中;
所述利用所述目标检测模型检测所述交易数据,包括:
利用加载到内存中的所述目标检测模型检测所述交易数据。
3.根据权利要求2所述的方法,其特征在于,还包括:
在完成检测之后并且在判断出所述目标检测模型满足卸载条件的情况下,从内存中卸载所述目标检测模型。
4.根据权利要求1所述的方法,其特征在于,还包括:
每一个所述单元检测模型包括预设统计模型以及输入所述预设统计模型的单元样本数据;
所述为所述预设的检测模型包括的所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建单元检测模型,包括:
确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;
针对每一种交易接口和多种交易渠道的组合,获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据;
根据所述各个检测指标对应的历史交易数据,计算出所述交易接口和多种所述交易渠道的所述组合的单元样本数据。
5.根据权利要求1所述的方法,其特征在于,还包括:
所述全局检测模型包括预设统计模型以及输入所述预设统计模型的全局样本数据;
为所述预设的检测模型包括的为每一种所述交易业务类型构建全局检测模型,包括:
确定计算所述全局样本数据所需的针对所述交易接口的多个检测指标;
针对每一种交易业务类型,获取所述交易业务类型中包含的各个所述交易接口和多种交易渠道的组合中的各个检测指标对应的历史交易数据;
根据所述各个检测指标对应的历史交易数据计算出所述交易业务类型对应的全局样本数据。
6.根据权利要求4所述的方法,其特征在于,
针对每一种交易接口和多种交易渠道的组合,根据所述交易接口和多种交易渠道的组合的历史交易数据,计算出所述组合对应的单元样本数据,包括:
确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标;
针对所述组合中的所述交易接口的每一个所述检测指标,执行:
获取所述检测指标在每一种所述交易渠道下的样本数据;
根据所述检测指标的各个所述样本数据,计算所述检测指标的第一统计值,并根据所述第一统计值与所述检测指标在各个交易渠道下的第二统计值之间的概率,计算出所述检测指标的信息熵;
基于所述检测指标的所述信息熵,计算出所述检测指标在全部检测指标中的熵权权重;
结合各个所述检测指标以及所述检测指标对应的熵权权重,得到所述交易接口和多种交易渠道的所述组合对应的单元样本数据。
7.根据权利要求5或6所述的方法,其特征在于,
所述针对每一种交易业务类型,根据所述交易业务类型的历史交易数据计算出所述交易业务类型对应的全局样本数据,包括:
确定所述交易业务类型包含的每一种交易接口以及每一种所述交易接口对应的多种交易渠道;
针对每一种交易接口以及每一种所述交易接口对应的多种交易渠道的组合,执行计算所述组合对应的单元样本数据的步骤;
结合每一个组合对应的单元样本数据,确定所述交易业务类型的全局样本数据。
8.根据权利要求6所述的方法,其特征在于,进一步包括:
所述检测指标包含统计交易指标、时序类交易指标;
所述确定计算所述单元样本数据所需的针对所述交易接口的多个检测指标,包括:
基于所述检测指标对应的历史交易数据的统计数据确定一个或多个所述统计交易指标;
利用时间序列模型,从所述历史交易数据中提取周期性特征、平稳特征、漂移特征中的一种或多种时序特征;
基于所述检测指标对应的历史交易数据的统计数据以及一种或多种所述时序特征确定一个或多个所述时序类交易指标。
9.根据权利要求4所述的方法,其特征在于:
针对每一种交易接口和多种交易渠道的组合,在获取所述交易接口和多种交易渠道的所述组合中的各个检测指标对应的历史交易数据之后,进一步包括:
对所述历史交易数据进行预处理操作,其中,所述预处理操作包括:离散度分析、缺失值填充、数据平滑处理、剔除异常数据中的一种或多种。
10.根据权利要求1所述的方法,其特征在于,
所述利用所述目标检测模型检测所述交易数据,包括:
在所述目标检测模型为单元检测模型的情况下,基于所述单元检测模型包括的预设统计模型以及输入所述预设统计模型的单元样本数据,计算所述交易数据与所述单元样本数据的第一差值,根据所述第一差值检测所述交易数据;
在所述目标检测模型为全局检测模型的情况下,基于所述全局检测模型包括的预设统计模型以及输入所述预设统计模型的全局样本数据,计算所述交易数据与所述全局样本数据的第二差值,根据所述第二差值检测所述交易数据。
11.根据权利要求1所述的方法,其特征在于,还包括:
利用分布式消息模型采集多个交易业务类型的交易数据;其中,每一种交易业务类型的所述交易数据由调用所述交易业务类型的一种或多种交易接口所产生。
12.一种检测交易数据的装置,其特征在于,包括:接收数据模块、确定模型模块和检测数据模块;其中,
所述接收数据模块,用于响应于检测接收到的交易数据,获取所述交易数据、所述交易数据关联的交易业务类型;确定所述交易数据所属交易接口以及交易渠道;
所述确定模型模块,用于从多种预设的检测模型中,查找与所述交易业务类型以及所述交易接口和所述交易渠道的组合匹配的一种或多种目标检测模型;其中,所述预设的检测模型包括为每一种所述交易业务类型构建的全局检测模型、为所述交易业务类型的多种交易接口和多种交易渠道的组合分别构建的单元检测模型中的至少一种;
所述检测数据模块,用于利用所述目标检测模型检测所述交易数据,并将检测结果发送给交易管理端。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310264946.8A CN116228429A (zh) | 2023-03-17 | 2023-03-17 | 一种检测交易数据的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310264946.8A CN116228429A (zh) | 2023-03-17 | 2023-03-17 | 一种检测交易数据的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116228429A true CN116228429A (zh) | 2023-06-06 |
Family
ID=86580515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310264946.8A Pending CN116228429A (zh) | 2023-03-17 | 2023-03-17 | 一种检测交易数据的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116228429A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116542635A (zh) * | 2023-07-05 | 2023-08-04 | 浙江和达科技股份有限公司 | 一种水务数据的智能监测方法、装置及电子设备 |
-
2023
- 2023-03-17 CN CN202310264946.8A patent/CN116228429A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116542635A (zh) * | 2023-07-05 | 2023-08-04 | 浙江和达科技股份有限公司 | 一种水务数据的智能监测方法、装置及电子设备 |
CN116542635B (zh) * | 2023-07-05 | 2023-10-20 | 浙江和达科技股份有限公司 | 一种水务数据的智能监测方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107809331B (zh) | 识别异常流量的方法和装置 | |
CN110163457B (zh) | 一种业务指标的异常定位方法和装置 | |
CN112527649A (zh) | 一种测试用例的生成方法和装置 | |
CN113128773B (zh) | 地址预测模型的训练方法、地址预测方法及装置 | |
CN111666346A (zh) | 信息归并方法、交易查询方法、装置、计算机及存储介质 | |
CN111813827A (zh) | 黑名单筛查方法和装置、电子设备以及存储介质 | |
CN114428677A (zh) | 任务处理方法、处理装置、电子设备及存储介质 | |
CN116228429A (zh) | 一种检测交易数据的方法和装置 | |
CN114090601B (zh) | 一种数据筛选方法、装置、设备以及存储介质 | |
CN110569424A (zh) | 一种信息推介的方法和装置 | |
CN117952100A (zh) | 数据处理的方法、装置、电子设备和存储介质 | |
CN110751354A (zh) | 一种异常用户的检测方法和装置 | |
CN109857816B (zh) | 测试样本的选取方法及装置、存储介质、电子设备 | |
CN117093627A (zh) | 信息挖掘的方法、装置、电子设备和存储介质 | |
CN116739605A (zh) | 交易数据检测方法、装置、设备及存储介质 | |
CN113157911A (zh) | 一种服务验证方法和装置 | |
CN112734352A (zh) | 一种基于数据维度的单据审核方法和装置 | |
EP4116889A2 (en) | Method and apparatus of processing event data, electronic device, and medium | |
CN111415168A (zh) | 一种交易告警的方法和装置 | |
CN115981970A (zh) | 运维数据分析方法、装置、设备和介质 | |
CN115330540A (zh) | 一种处理交易数据的方法和装置 | |
CN113052509B (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
CN112434083A (zh) | 一种基于大数据的事件处理方法和装置 | |
CN114219053B (zh) | 用户位置信息处理方法、装置及电子设备 | |
CN116319716A (zh) | 信息处理方法、无服务系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |