CN112989338A - 异常应用数据检测方法、装置、电子设备及存储介质 - Google Patents
异常应用数据检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112989338A CN112989338A CN202110004644.8A CN202110004644A CN112989338A CN 112989338 A CN112989338 A CN 112989338A CN 202110004644 A CN202110004644 A CN 202110004644A CN 112989338 A CN112989338 A CN 112989338A
- Authority
- CN
- China
- Prior art keywords
- application data
- data
- target user
- abnormal
- data type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 206
- 238000001514 detection method Methods 0.000 title claims abstract description 165
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 176
- 230000008569 process Effects 0.000 claims abstract description 120
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000010365 information processing Effects 0.000 claims description 43
- 238000009826 distribution Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000000737 periodic effect Effects 0.000 claims description 12
- 230000007774 longterm Effects 0.000 claims description 11
- 230000002547 anomalous effect Effects 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005314 correlation function Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 239000003795 chemical substances by application Substances 0.000 description 13
- 241000039077 Copula Species 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006854 communication Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 235000018185 Betula X alpestris Nutrition 0.000 description 1
- 235000018212 Betula X uliginosa Nutrition 0.000 description 1
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种异常应用数据检测方法、装置、电子设备及存储介质,方法包括:获取与所述目标用户相匹配的应用数据;对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定应用数据的数据类型;当应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;当应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;通过第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与目标用户应用数据中的异常应用数据,使得异常应用数据检测过程的泛化能力以及数据处理能力更强,适应不同的使用环境,降低异常应用数据检测过程的鲁棒性,提升检测精确度。
Description
技术领域
本发明涉及用户应用数据检测理技术,尤其涉及异常应用数据检测方法、装置、电子设备及存储介质。
背景技术
相关技术中的反作弊处理主要是对原始数据先通过复杂的特征工程进行特征提取和分析,再将提取和分析的特征,采用传统的自回归积分滑动平均模型(AutoregressiveIntegrated Moving Average Model,ARIMA)或孤立森林算法进行训练,基于训练的模型进行异常应用数据检测。但是这一过程,针对不同行业、不同场景都需要不同的专家,单一专家很难精通航旅、电商、金融等行业、营销活动、订票、占座、交易等不同场景下的反作弊策略,同时作弊模式会进行不断地迭代更新,早期设置的阈值已经不能拦截最新的作弊方法,无法适应多变的使用环境。
当通过神经网络模型基于深度学习实现对作弊行为的拦截时,当特征维度较高的情况下,可能会忽略掉有些重要特征,从而导致模型的预测效果变差,同时,使用深度学习模型进行处理时,模型训练过程复杂,耗时较长,如果网络层次过多,参数也会增加,最终导致模型增大,预测耗时也会增加,不能满足线上时延和TPS要求,较差的可解释性也不能够满足不同用户的使用需求。
发明内容
有鉴于此,本发明实施例提供一种异常应用数据检测方法、装置、电子设备及存储介质,能够实现确定与目标用户应用数据中的异常应用数据,使得异常应用数据检测过程的泛化能力以及数据处理能力更强,适应不同的使用环境,降低异常应用数据检测过程的鲁棒性,提升检测精确度。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种异常应用数据检测方法,包括:
获取与所述目标用户相匹配的应用数据;
对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;
当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;
通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;
当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;
通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
本发明实施例还提供了一种异常应用数据检测装置,所述装置包括:
信息传输模块,用于获取与所述目标用户相匹配的应用数据;
信息处理模块,用于对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;
所述信息处理模块,用于当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;
所述信息处理模块,用于通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;
所述信息处理模块,用于当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;
所述信息处理模块,用于通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
上述方案中,
所述信息处理模块,用于基于所述目标用户所处的应用数据使用场景,触发相对应的应用程序接口,并通过所述应用程序接口建立与所述目标用户相匹配的应用数据传输链接;
所述信息处理模块,用于通过应用程序接口所建立的应用数据传输链接,获取所述应用程序接口传输的与不同应用进程相匹配的应用数据;
所述信息处理模块,用于基于所述目标用户所处的应用数据使用场景,得到与目标用户所处的应用数据使用场景境相匹配的噪声参数;
所述信息处理模块,用于基于所述噪声参数,对所获取的应用程序接口传输的与不同应用进程相匹配的应用数据进行除噪处理,形成与目标用户相匹配的用户应用数据。
上述方案中,
所述信息处理模块,用于解析所获取的与所述目标用户相匹配的应用数据所携带的数据类型标识,其中,所述数据类型标识包括至少以下之一:用户画像数据标识、交易流水数据标识;
所述信息处理模块,用于基于所述数据类型标识,确定所述应用数据的数据类型。
上述方案中,
所述信息处理模块,用于基于所述应用程序接口传输的账户参数信息,确定所述目标用户的账户画像信息;
所述信息处理模块,用于基于所述应用程序接口传输的用户IP地址信息,确定所述目标用户的IP地址画像;
所述信息处理模块,用于基于所述应用程序接口传输的用户操作时间戳信息,确定所述目标用户的设备画像信息。
上述方案中,
所述信息处理模块,用于通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行概率分布侦测,确定表格数据类型的应用数据的概率分布模型;
所述信息处理模块,用于确定表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值;
所述信息处理模块,用于基于所述表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值,确定表格数据类型的应用数据中的异常数据点。
上述方案中,
所述信息处理模块,用于当不能确定表格数据类型的应用数据的概率分布模型时,触发基于关联结构的异常检测进程;
所述信息处理模块,用于通过所述基于关联结构的异常检测进程,利用经验变量间相关性函数,预测所述表格数据类型的应用数据中每一个数据点的尾概率;
所述信息处理模块,用于基于所述表格数据类型的应用数据中每一个数据点的尾概率,确定表格数据类型的应用数据中的异常数据点。
上述方案中,
所述信息处理模块,用于获取与所述关联结构的异常检测进程相匹配的数据集;
所述信息处理模块,用于根据所获取的数据集计算所述关联结构的异常检测进程所对应的经验累积分布函数;
所述信息处理模块,用于基于所述经验累积分布函数,确定所述经验变量间相关性函数。
上述方案中,
所述信息处理模块,用于通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行时间序列分解处理,形成长期趋势参数、周期趋势参数以及残差参数;
所述信息处理模块,用于基于所述长期趋势参数、周期趋势参数以及残差参数,将所述时序数据类型的应用数据转换为表格数据类型的应用数据。
上述方案中,
所述信息处理模块,用于通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行傅里叶变换处理,确定所述时序数据类型的应用数据的幅频特性;
所述信息处理模块,用于基于所述时序数据类型的应用数据的幅频特性,确定相应的周期趋势参数。
上述方案中,
所述信息处理模块,用于将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据送至区块链网络,以使
所述区块链网络的节点将所述目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据填充至新区块,且当对所述新区块共识一致时,将所述新区块追加至区块链的尾部。
上述方案中,
所述信息处理模块,用于接收所述区块链网络中的其他节点的数据同步请求;
所述信息处理模块,用于响应于所述数据同步请求,对所述其他节点的权限进行验证;
所述信息处理模块,用于当所述其他节点的权限通过验证时,控制当前节点与所述其他节点之间进行数据同步,以实现所述其他节点获取目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据。
上述方案中,
所述信息处理模块,用于响应于查询请求,解析所述查询请求以获取对应的对象标识;
根据所述对象标识,获取区块链网络中的目标区块内的权限信息;
对所述权限信息与所述对象标识的匹配性进行校验;
当所述权限信息与所述对象标识相匹配时,在所述区块链网络中获取相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据;
响应于所述查询指令,将所获取的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据向相应的客户端进行推送,以实现所述客户端获取所述区块链网络中所保存的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据。
本发明实施例还提供了一种电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现前序的异常应用数据检测方法。
本发明实施例还提供了一种计算机可读存储介质,存储有可执行指令,所述可执行指令被处理器执行时实现前序的异常应用数据检测方法。
本发明实施例具有以下有益效果:
本发明实施例通过获取与所述目标用户相匹配的应用数据;对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据,由此,实现了对用户应用数据的分类处理,确定与目标用户应用数据中的异常应用数据,使得异常应用数据检测过程的泛化能力以及数据处理能力更强,适应不同的使用环境,降低异常应用数据检测过程的鲁棒性,提升检测精确度。
附图说明
图1是本发明实施例提供的异常应用数据检测方法的使用环境示意图;
图2为本发明实施例提供的电子设备的组成结构示意图;
图3为本申请所提供的异常应用数据检测方法一个可选的流程示意图;
图4为本发明实施例中用户第一异常应用数据检测进程和第二异常应用数据检测进程的数据结构示意图;
图5是本发明实施例提供的目标对象确定装置100的架构示意图;
图6是本发明实施例提供的区块链网络200中区块链的结构示意图;
图7是本发明实施例提供的区块链网络200的功能架构示意图;
图8为本申请所提供的异常应用数据检测方法的前端显示示意图;
图9为本申请所提供的异常应用数据检测方法使用过程示意图;
图10为本发明实施例中游戏币活动指数平滑示意图;
图11为本发明实施例中用户行为的残差分布与正态分布的对比示意图;
图12为本发明实施例中游戏币领取活动观测数据和动态阈值示意图;
图13为本发明实施例中游戏币活动小时请求量傅里叶变换的幅频特性示意图;
图14为本发明实施例中游戏币活动小时请求量的时间序列分解结果示意图;
图15为本发明实施例中游戏币活动小时请求量的异常检测结果与划定的阈值示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
2)基于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
3)API:全称Application Programming Interface,可翻译成应用程序接口,是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问原码,或理解内部工作机制的细节。
4)小程序(Mini Program),是一种基于面向前端的语言(例如JavaScript)开发的、在超文本标记语言(HTML,Hyper Text Markup Language)页面中实现服务的程序,由客户端(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在客户端的浏览器环境中解释和执行的软件,节省在客户端中安装的步骤。例如,在社交网络客户端中可以下载、运行用于实现机票购买、乘车码等各种服务的小程序。
5)共识(Consensus),是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(Po W,Proof of Work)、权益证明(PoS,P roof of Stake)、股份授权证明(DPo S,Delegated Proof-of-Stake)、消逝时间量证明(Po ET,Proof of Elapsed Time)等。
6)交易(Transaction),等同于计算机术语“事务”,交易包括了需要提交到区块链网络执行的操作,并非单指商业语境中的交易,鉴于在区块链技术中约定俗成地使用了“交易”这一术语,本发明实施例遵循了这一习惯。
例如,部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用;调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录,并对区块链的状态数据库进行操作,包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。
7)区块链(Block chain),是由区块(Block)形成的加密的、链式的交易的存储结构。
例如,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,从而基于哈希值实现区块中交易的防篡改和防伪造;新产生的交易被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长。
8)区块链网络(Block chain Network),通过共识的方式将新区块纳入区块链的一系列的节点的集合。
9)账本(Ledger),是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
其中,区块链是以文件系统中的文件的形式来记录交易;状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易,用于支持对区块链中交易的快速查询。
10)智能合约(Smart Contracts),也称为链码(Chain code)或应用代码,部署在区块链网络的节点中的程序,节点执行接收的交易中所调用的智能合约,来对账本数据库的键值对数据进行更新或查询的操作。
图1为本发明实施例提供的异常应用数据检测方法的使用场景示意图,参考图1,终端(包括终端10-1和终端10-2)上设置有能够显示相应资源交易数据的软件的客户端,例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源支付(比特币或者Q币)的客户端或插件,用户通过相应的客户端可以获得资源交易数据并进行展示,并在虚拟资源变化过程中触发相应的欺诈识别进程,这一过程中需要通过部署于服务器的异常应用数据检测对目标用户的用户行为进行监测,以通过相应的预测结果确定目标用户的风险等级;终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
作为一个示例,服务器200用于布设封装在存储介质中的异常应用数据检测装置以实现本发明所提供本申请所提供的异常应用数据检测方法,实现获取与所述目标用户相匹配的应用数据;对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
当然,本发明所提供的异常应用数据检测装置可以应用于虚拟资源或者实体资源进行金融活动或者通过实体金融资源支付环境(包括但不限于各类型的实体金融资源变化环境、电子支付购物环境、电商购物能能过进行作弊的使用环境)或者社交软件进行信息交互的使用环境,在各类型的实体金融资源进行金融活动或者通过虚拟资源支付中通常会对不同数据来源的金融信息进行处理,最终在用户界面(User Interface,UI)上呈现出与相应的与所述目标用户所选择的目标对象相对应的金融信息。用户在当前显示界面中获得的金融信息(例如用户风险判断)还可以供其他应用程序调用。
下面对本发明实施例的异常应用数据检测装置的结构做详细说明,异常应用数据检测装置可以各种形式来实施,如带有异常应用数据检测装置处理功能的专用终端,也可以为设置有异常应用数据检测装置处理功能的服务器,例如前序图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图,可以理解,图2仅仅示出了异常应用数据检测装置的示例性结构而非全部结构,根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的异常应用数据检测装置包括:至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。异常应用数据检测装置中的各个组件通过总线系统205耦合在一起。可以理解,总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统205。
其中,用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器202可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括:用于在终端(如10-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中,本发明实施例提供的异常应用数据检测装置可以采用软硬件结合的方式实现,作为示例,本发明实施例提供的异常应用数据检测装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的异常应用数据检测方法。例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的异常应用数据检测装置采用软硬件结合实施的示例,本发明实施例所提供的异常应用数据检测装置可以直接体现为由处理器201执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器202,处理器201读取存储器202中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器201以及连接到总线系统205的其他组件)完成本发明实施例提供的异常应用数据检测方法。
作为示例,处理器201可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的异常应用数据检测装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的异常应用数据检测方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持异常应用数据检测装置的操作。这些数据的示例包括:用于在异常应用数据检测装置上操作的任何可执行指令,如可执行指令,实现本发明实施例的从异常应用数据检测方法的程序可以包含在可执行指令中。
在另一些实施例中,本发明实施例提供的异常应用数据检测装置可以采用软件方式实现,图2示出了存储在存储器202中的异常应用数据检测装置,其可以是程序和插件等形式的软件,并包括一系列的模块,作为存储器202中存储的程序的示例,可以包括异常应用数据检测装置,异常应用数据检测装置中包括以下的软件模块:信息传输模块2081和信息处理模块2082。当异常应用数据检测装置中的软件模块被处理器201读取到RAM中并执行时,将实现本发明实施例提供的异常应用数据检测方法,其中,异常应用数据检测装置中各个软件模块的功能,包括:
信息传输模块2081,用于获取与所述目标用户相匹配的应用数据。
信息处理模块2082,用于对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型。
所述信息处理模块2082,用于当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程。
所述信息处理模块2082,用于通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
所述信息处理模块2082,用于当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程。
所述信息处理模块2082,用于通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
根据图2所示的图像检测装置,在本申请的一个方面中,本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的异常应用数据检测方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
在介绍本申请所提供的异常应用数据检测方法之前,优先对相关技术的风控场景下的反作弊方法进行说明,其中,相关技术中的反作弊处理主要是对原始数据先通过复杂的特征工程进行特征提取和分析,再将提取和分析的特征,采用传统的自回归积分滑动平均模型(Autoregressive Integrated Moving Average Model,ARIMA)或孤立森林算法进行训练,基于训练的模型进行异常应用数据检测。但是这一过程,针对不同行业、不同场景都需要不同的专家,单一专家很难精通航旅、电商、金融等行业、营销活动、订票、占座、交易等不同场景下的反作弊策略,同时作弊模式会进行不断地迭代更新,早期设置的阈值已经不能拦截最新的作弊方法,无法适应多变的使用环境。对于风控场景中所出现的对表格数据的异常检测,可以通过集成学习的Isolation Forest(隔离森林)、基于聚类的KMeans、Birch、DBSCAN和基于深度学习的自编码器模型、GAN模型等。其缺陷在于,IsolationForest不适用于高维数据,无法充分利用数据的各特征维度;不具有数值敏感性,无法自适应地控制数据异常的方向,经过会同时将数值较小的数据和数值较大的数据都检测为异常数据,不符合风控业务的需求;基于聚类的方法时间复杂度较高,难以处理海量数据和高维数据,不具有可伸缩性;基于深度学习的方法则需要经历繁复、耗时的训练拟合过程,神经网络的层次架构和超参数都需要精心的调节,在低维数据上的处理效率较低。而对于对时序数据的异常检测,可以使用深度无监督聚类算法。该方法通过自编码器将数据从高维空间映射至低维空间,然后利用聚类算法对映射得到的低维向量进行聚类,并利用聚类后新的数据分布反向更新神经网络参数和聚类中心。但是,其缺陷在于仅适用于风控业务中的高维数据场景,对于低维数据场景并不适用。而且,该方法需要经过较为繁琐的拟合训练、超参数调优过程,对于初始数据量较少的风控业务场景(例如刚刚上线的营销资源活动)以及业务中新来的数据,也不适用,在线上并不具有实时性。
为解决上述缺陷,参考图3,图3为本申请所提供的异常应用数据检测方法一个可选的流程示意图,可以理解地,图3所示的步骤可以由运行异常应用数据检测装置的各种电子设备执行,以完成对相应的用户第一异常应用数据检测进程和第二异常应用数据检测进程的训练与部署,具体来说,这些电子设备可以是如带有金融数据处理功能的专用终端、带有用户第一异常应用数据检测进程和第二异常应用数据检测进程训练功能的服务器或者服务器集群,实现针对不同的金融场景中所适配的用户第一异常应用数据检测进程和第二异常应用数据检测进程进行训练及部署。下面针对图3示出的步骤进行说明。
步骤301:异常应用数据检测装置获取与所述目标用户相匹配的应用数据。
其中,用户应用数据包括但不限于:访问网站、收发邮件、上传和下载、即时通信、聊天、论坛、网络游戏、流媒体视频、广告投放、金融支付、优惠券领取、满减资格领取、游戏币领取。
在本发明的一些实施例中,获取与所述目标用户相匹配的应用数据,可以通过以下方式实现:
基于目标用户所处的应用数据使用场景,触发相对应的应用程序接口,并通过所述应用程序接口建立与所述目标用户相匹配的应用数据传输链接;通过应用程序接口所建立的应用数据传输链接,获取所述应用程序接口传输的与不同应用进程相匹配的应用数据;基于所述目标用户所处的应用数据使用场景,得到与目标用户所处的应用数据使用场景境相匹配的噪声参数;基于所述噪声参数,对所获取的应用程序接口传输的与不同应用进程相匹配的应用数据进行除噪处理,形成与目标用户相匹配的用户应用数据。其中,参考图4,图4为本发明实施例中用户第一异常应用数据检测进程和第二异常应用数据检测进程的数据结构示意图,其中,为了实现API接口实时判断请求流量是否为恶意,并实判断现结果在100ms以内返回,以使客户可根据风险值处理请求。参数越多有助于提高恶意流量判断的准确性,当然也本发明实施例中所获取的应用数据可根据异常应用数据检测实施环境的不同进行灵活的配置,同时所获取的应用数据不涉及用户的隐私数据,当需要获取用户的隐私数据实现异常应用数据检测时,需要对用户的授权信息进行检测,以避免用户的隐私数据泄露。
进一步地,由于目标用户的终端运行环境不同,所要执行的功能也不相同,因此,基于所述目标用户的终端运行环境,获取所述应用程序接口传输的通信进程信息、操作历史信息以及支付信息,通过用户第一异常应用数据检测进程和第二异常应用数据检测进程对所获取的用户特征进行处理,以获得与所要执行的功能相匹配的异常应用数据检测结果,扩大用户第一异常应用数据检测进程和第二异常应用数据检测进程的适用范围。
步骤302:异常应用数据检测装置对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型。
在本发明的一些实施例中,可以解析所获取的与所述目标用户相匹配的应用数据所携带的数据类型标识,其中,所述数据类型标识包括至少以下之一:用户画像数据标识、交易流水数据标识;基于所述数据类型标识,确定所述应用数据的数据类型。具体来说,用户画像数据属于典型的表格数据,具有静态特性,在一段时间内不会发生明显的变化;交易流水数据属于动态的时序数据,与时间因素息息相关。在风控业务的处理场景中,例如欺诈检测、小号(机器人)检测、代充代付检测等,通常都会遇到海量的动态时序数据和大量的用户画像数据。基于这些数据,服务商可以使用数据挖掘方法从中识别出各业务场景下的正常交易/用户与异常交易/用户的行为模式与规律,实现风险控制。
进一步地,可以基于所述应用程序接口传输的账户参数信息,确定所述目标用户的账户画像信息;基于所述应用程序接口传输的用户IP地址信息,确定所述目标用户的IP地址画像;基于所述应用程序接口传输的用户操作时间戳信息,确定所述目标用户的设备画像信息。其中,在实际应用中,常见的网络作弊方式可以至少包括机器作弊和人为作弊,机器作弊又可以包括机器刷量、任务分发、流量劫持等,人为作弊又可以包括Q群/水军、直接人工、诱导等。常见的网络作弊手段可以至少包括:刷单,刷信誉,刷好评,职业差评师等电商作弊手段、洗钱,诈骗等支付平台作弊手段、数据造假、刷流量(引流-广告展示-广告点击-转化)等广告作弊手段,刷粉丝、刷点击、阅读量等自媒体或社交软件作弊手段、使用作弊手段刷排名等搜索作弊手段等,用户画像还可以至少包括位置画像、账号画像、互联网协议地址(Internet Protocol Address,IP)画像、设备画像等信息,通过用户画像能够有效的监控用户的行为。
步骤303:异常应用数据检测装置当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程。
步骤304:异常应用数据检测装置通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
在本发明的一些实施例中,通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据,可以通过以下方式实现:
通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行概率分布侦测,确定表格数据类型的应用数据的概率分布模型;确定表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值;基于所述表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值,确定表格数据类型的应用数据中的异常数据点。具体来说,在表格数据的异常检测中,可以使用COPOD(COPula basedOutlier Detection)方法,并以概率模型作为辅助。概率模型的核心思想是:基于数据分布构建一个概率分布模型,计算数据点服从概率分布的概率;然后将以极低概率(设定为异常检测方法的超参数)出现的数据点视作异常数据点。
进一步地,当不能确定表格数据类型的应用数据的概率分布模型时,触发基于关联结构的异常检测进程;通过所述基于关联结构的异常检测进程,利用经验变量间相关性函数,预测所述表格数据类型的应用数据中每一个数据点的尾概率;基于所述表格数据类型的应用数据中每一个数据点的尾概率,确定表格数据类型的应用数据中的异常数据点。其中,计算经验积累分布函数可以包括:
经验累积分布函数(Empirical Cumulative Distribution Function,ECDF)的计算公式为公式1:
其中,计算经验Copula函数过程包括:
计算经验Copula函数(Empirical Copula Function),可以先对数据集中的每一数据点计算经验Copula观测值(Empirical Copula Observation)。经验Copula观测值计算公式参考公式2:
根据Sklar定理,Copula的计算公式考公式3:
C(u)=P(F1(X1)≤u1,...,Fd(Xd)≤ud)公式3
然后,将经验Copula观测值代入(3)式,得到经验Copula函数,参考公式4:
其中,定义在离散网格{1/n,2/n,....,1}d的n个数据点的经验Copula函数,具有离散的服从均匀分布的边缘分布变量。即可以按照下式分解为若干个相互独立的服从均匀分布的随机变量,参考公式5:
使用经验Copula函数逼近尾概率时,尾概率(tail probability)是概率论中累积分布函数的一些特殊取值情况。根据取值的不同,尾概率又可进一步细分为:左尾概率和右尾概率。二者的定义如下:
其中,尾概率能够表征数据点的罕见程度。尾概率值越小,则表明该数据点越罕见。
左尾概率的计算公式是:
其中,右尾概率的计算与左尾概率的计算同上。
在计算尾概率的过程中,可能会遇到尾概率消失的问题。因为随着数据集维度d的增加,尾概率会迅速地趋近于0。为了避免这种情况的出现,对上式两边同取负对数,将乘法变为加法。另外,在处理每一维度的时候,需要选择使用左尾概率还是右尾概率。在实际应用中,根据偏度系数的正负值来选择使用左尾概率还是右尾概率。当偏度系数小于0的时候,当前维度的数据集中在右端,左端呈现长尾分布,更有可能呈现异常点,因而选择左尾概率;当偏度系数大于0的时候,当前维度的数据集中在左端,右端呈现长尾分布,更有可能出现异常点,因而选择右尾概率。
第i个维度的数据的偏度系数的计算公式,参考公式6:
步骤305:异常应用数据检测装置当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程。
步骤306:异常应用数据检测装置通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
在本发明的一些实施例中,通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据,可以通过以下方式实现:
通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行时间序列分解处理,形成长期趋势参数、周期趋势参数以及残差参数;基于所述长期趋势参数、周期趋势参数以及残差参数,将所述时序数据类型的应用数据转换为表格数据类型的应用数据。其中,通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行傅里叶变换处理,确定所述时序数据类型的应用数据的幅频特性;基于所述时序数据类型的应用数据的幅频特性,确定相应的周期趋势参数。其中,可以采用时间序列分解方法将原始的观测数据分解为多个不同的成分,包括:长期趋势、周期趋势和残差。其中,周期趋势是可选项。为了确定原始数据中是否存在周期趋势,提出的异常检测框架会首先对其进行傅里叶变换,观察其幅频特性。如果幅频特性中某些频率分量的振幅显著较强,则说明原始数据中存在明显的周期趋势。通过傅里叶变换,也可以同时确定周期趋势中周期的具体大小,分别将该频率和对应的周期分别称为峰值频率和峰值周期。
无周期趋势,参考公式7:
Xt=Tt+It 公式7
有周期趋势,参考公式8:
Xt=Tt+Ct+It 公式8
公式(7)-(8)中,Xt表示t时刻的数据,Tt表示长期趋势,Ct表示周期趋势,It表示残差。其中,Tt和Ct均与时间因素密切相关,It的变化则与时间无关。通过时间序列分解的方法,就能够将动态时序数据转换为静态的表格数据,从而使用图1所示的异常检测框架中的COPOD等方法进行检测。因此,本部分的关键是如何拟合长期趋势和周期趋势。进一步地,在进行趋势拟合处理时可以使用指数平滑法,参考公式9:
Tt=(1-α)Tt-1+αXt-1,0≤α≤1 公式9
其中,参数α为平滑系数。
在进行趋势拟合处理时还可以使用移动平均法,参考公式10:
其中,参数m是移动平均法的阶数,设定为峰值周期period。
对于周期趋势的拟合,使用的方法是:单周期趋势C′t由去趋势序列X′t=Xt-Tt在每个周期上的平均得到
周期趋势Ct即为单周期趋势C′t的周期延拓。
在确定了长期趋势和周期趋势之后,就可以得到残差It,[]表示可选项:
It=Xt-Tt[-Ct]#(12)
其中,本发明实施例可结合云技术实现,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术,也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站,因此云技术需要以云计算作为支撑。
需要说明的是,云计算是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。作为云计算的基础能力提供商,会建立云计算资源池平台,简称云平台,一般称为基础设施即服务(IaaS,Infrastructure as a Service),在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(可为虚拟化机器,包含操作系统)、存储设备和网络设备。
结合前序图1所示,本发明实施例所提供的数据处理方法可以通过相应的云端设备实现,例如:终端(包括终端10-1和终端10-2)通过网络300连接位于云端的服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。值得说明的是,服务器200可为实体设备,也可为虚拟化设备。
在本发明的一些实施例中,数据处理方法还包括:
接收所述区块链网络中的其他节点的数据同步请求;响应于所述数据同步请求,对所述其他节点的权限进行验证;当所述其他节点的权限通过验证时,控制当前节点与所述其他节点之间进行数据同步,以实现所述其他节点获取目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据。
在本发明的一些实施例中,数据处理方法还包括:
响应于查询请求,解析所述查询请求以获取对应的对象标识;根据所述对象标识,获取区块链网络中的目标区块内的权限信息;对所述权限信息与所述对象标识的匹配性进行校验;当所述权限信息与所述对象标识相匹配时,在所述区块链网络中获取相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据;响应于所述查询指令,将所获取的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据向相应的即时通讯客户端进行推送,以实现所述即时通讯客户端获取所述区块链网络中所保存的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据,实现同一用户的通讯录数据在不同的终端(即时通讯客户端)之间进行数据迁移。
参见图5,图5是本发明实施例提供的目标对象确定装置100的架构示意图,包括区块链网络200(示例性示出了共识节点210-1至共识节点210-3)、认证中心300、业务主体400和业务主体500,下面分别进行说明。
区块链网络200的类型是灵活多样的,例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例,任何业务主体的电子设备例如用户终端和服务器,都可以在不需要授权的情况下接入区块链网络200;以联盟链为例,业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200,此时,成为区块链网络200中的客户端节点。
在一些实施例中,客户端节点可以只作为区块链网络200的观察者,即提供支持业务主体发起交易(例如,用于上链存储数据或查询链上数据)功能,对于区块链网络200的共识节点210的功能,例如排序功能、共识服务和账本功能等,客户端节点可以缺省或者有选择性(例如,取决于业务主体的具体业务需求)地实施。从而,可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中,通过区块链网络200实现数据和业务处理过程的可信和可追溯。
区块链网络200中的共识节点接收来自不同业务主体(例如图1中示出的业务主体400和业务主体500)的客户端节点(例如,图1中示出的归属于业务主体400的客户端节点410、以及归属于电子设备的系统500的客户端节点510)提交的交易,执行交易以更新账本或者查询账本,执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。
例如,客户端节点410/510可以订阅区块链网络200中感兴趣的事件,例如区块链网络200中特定的组织/通道中发生的交易,由共识节点210推送相应的交易通知到客户端节点410/510,从而触发客户端节点410/510中相应的业务逻辑。
下面以多个业务主体接入区块链网络以实现目标对象确定结果的管理为例,说明区块链网络的示例性应用。
参见图5,管理环节涉及的多个业务主体,如业务主体400可以是基于人工智能的目标对象确定装置,业务主体500可以是带有目标对象确定功能的显示系统,从认证中心300进行登记注册获得各自的数字证书,数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名,用来与业务主体针对交易的数字签名一起附加到交易中,并被发送到区块链网络,以供区块链网络从交易中取出数字证书和签名,验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息,区块链网络会根据身份进行验证,例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。
业务主体400的客户端节点410用于获取与不同对象相对应的资源交易数据;根据所述资源交易数据,确定所述不同对象的级别信息,并根据所述级别信息确定所述不同对象中的基础对象;根据所述资源交易数据,确定与所述不同对象相匹配的差异特征向量;基于与所述不同对象相匹配的差异特征向量,确定所述不同对象之间的关联关系网络;响应于所述基础对象,确定所述不同对象之间的关联关系网络的聚类结果;根据所述不同对象之间的关联关系网络的聚类结果和相应的级别信息,确定所述不同对象中与所述基础对象相匹配的目标对象,将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据发送至区块链网络200。
其中,将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据发送至区块链网络200,可以预先在客户端节点410设置业务逻辑,当形成相应的目标对象确定结果时,客户端节点410将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据自动发送至区块链网络200,也可以由业务主体400的业务人员在客户端节点410中登录,手动打包将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据,并将其发送至区块链网络200。在发送时,客户端节点410根据将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据生成对应更新操作的交易,在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点410的数字证书、签署的数字签名(例如,使用客户端节点410的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易时,对交易携带的数字证书和数字签名进行验证,验证成功后,根据交易中携带的业务主体400的身份,确认业务主体400是否是具有交易权限,数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名(例如,使用节点210-1的私钥对交易的摘要进行加密得到),并继续在区块链网络200中广播。
区块链网络200中的共识节点210接收到验证成功的交易后,将交易填充到新的区块中,并进行广播。区块链网络200中的共识节点210广播的新区块时,会对新区块进行共识过程,如果共识成功,则将新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交更新将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据的交易,在状态数据库中添加包括将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据的键值对。
业务主体500的业务人员在客户端节点510中登录,输入目标对象确定结果或者目标对象查询请求,客户端节点510根据目标对象确定结果或者目标对象查询请求生成对应更新操作/查询操作的交易,在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点510的数字证书、签署的数字签名(例如,使用客户端节点510的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络200中的共识节点210。
区块链网络200中的共识节点210中接收到交易,对交易进行验证、区块填充及共识一致后,将填充的新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交的更新某一将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据的交易,根据人工识别结果更新状态数据库中该目标对象确定结果对应的键值对;对于提交的查询某个目标对象确定结果的交易,从状态数据库中查询目标对象确定结果对应的键值对,并返回交易结果。
值得说明的是,在图5中示例性地示出了将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据直接上链的过程,但在另一些实施例中,对于目标对象确定结果的数据量较大的情况,客户端节点410可将目标对象确定结果的哈希以及相应的目标对象确定结果的哈希成对上链,将原始的目标对象确定结果以及相应的目标对象确定结果存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到目标对象确定结果以及相应的目标对象确定结果后,可结合区块链网络200中对应的哈希进行校验,从而减少上链操作的工作量。
作为区块链的示例,参见图6,图6是本发明实施例提供的区块链网络200中区块链的结构示意图,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长,区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。
下面说明本发明实施例提供的区块链网络的示例性的功能架构,参见图7,图7是本发明实施例提供的区块链网络200的功能架构示意图,包括应用层201、共识层202、网络层203、数据层204和资源层205,下面分别进行说明。
资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。
数据层204封装了实现账本的各种数据结构,包括以文件系统中的文件实现的区块链,键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
网络层203封装了点对点(P2P,Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
其中,P2P网络协议实现区块链网络200中节点210之间的通信,数据传播机制保证了交易在区块链网络200中的传播,数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点210之间传输数据的可靠性;接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证,并在认证通过时赋予业务主体接入区块链网络200的权限;业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限(例如能够发起的交易的类型)。
共识层202封装了区块链网络200中的节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法,支持共识算法的可插拔。
交易管理用于验证节点210接收到的交易中携带的数字签名,验证业务主体的身份信息,并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息);对于获得接入区块链网络200的授权的业务主体而言,均拥有认证中心颁发的数字证书,业务主体利用自己的数字证书中的私钥对提交的交易进行签名,从而声明自己的合法身份。
账本管理用于维护区块链和状态数据库。对于取得共识的区块,追加到区块链的尾部;执行取得共识的区块中的交易,当交易包括更新操作时更新状态数据库中的键值对,当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作,包括:根据区块向量号(例如交易的哈希值)查询区块;根据区块哈希值查询区块;根据交易向量号查询区块;根据交易向量号查询交易;根据业务主体的账号(向量号)查询业务主体的账号数据;根据通道名称查询通道中的区块链。
应用层201封装了区块链网络能够实现的各种业务,包括交易的溯源、存证和验证等。
下面以支付(或者领取)游戏币使用场景中的对需要进行领取游戏币的目标用户进行预测为例,对本申请所提供的异常应用数据检测方法进行说明,其中,参见图8,图8为本申请所提供的异常应用数据检测方法的前端显示示意图,其中终端(例如图1中的终端10-1和终端10-2)上设置有能够显示相应进行金融支付的软件的客户端,例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源游戏的游戏币的客户端或插件,用户通过相应的客户端可以获从金融机构或平台领取支付游戏币(例如微信财付通支付或者微信中的小程序领取不同金额的游戏币);终端通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。服务器(例如图1中的服务器)银行、证券、互金、P2P等提供支付、游戏游戏币、理财等金融业务的企业的服务器。当用户需要办理相关金融业务的用户使用客户端设备访问企业的客户服务器提供的服务时,客户服务器可以将用户行为的风险进行风险预测,识别出现异常行为的用户,从而封锁作弊的黑产用户。通过经过训练用户第一异常应用数据检测进程和第二异常应用数据检测进程,可以协助金融平台或者游戏币提供方对是否为用户提供支付游戏币进行判断,或者可以协助金融平台中的不同游戏币领取用户对不同信用风险类型的用户进行不同的管理。
参考图9,图9为本申请所提供的异常应用数据检测方法使用过程示意图,其中本申请所提供的异常应用数据检测方法包括以下步骤:
步骤901:服务器获取游戏币领取场景中的与所述目标用户相匹配的应用数据。
其中,参考图10/11/12,图10为本发明实施例中游戏币活动指数平滑示意图,图11为本发明实施例中用户行为的残差分布与正态分布的对比示意图,图12为本发明实施例中游戏币领取活动观测数据和动态阈值示意图,其中,可以使用指数平滑法拟合长期趋势,使用KS test和核密度估计的方法检验残差是否符合正态分布,最后使用单边3-sigma原则划定阈值。
步骤902:对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型。
其中,图13为本发明实施例中游戏币活动小时请求量傅里叶变换的幅频特性示意图,图14为本发明实施例中游戏币活动小时请求量的时间序列分解结果示意图,图15为本发明实施例中游戏币活动小时请求量的异常检测结果与划定的阈值示意图,其中,游戏币活动小时请求量的异常检测结果对应的阈值可以根据游戏种类和不同用户数量的峰值进行适应性调整。
步骤903:通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定目标用户应用数据中的异常应用数据。
步骤904:基于目标用户应用数据中的异常应用数据,执行相匹配的处理策略。
其中处理策略具体包括:对高风险用户禁用支付或领取功能,对中低风险用户发放支付游戏币,由此可以避免支付游戏币被高风险用户领取。
有益技术效果:
本发明实施例通过获取目标用户的行为信息,并通过应用程序接口读取与目标用户相匹配的用户行为特征;基于所述目标用户的行为信息,确定与所述目标用户相匹配的用户画像信息;通过所述用户第一异常应用数据检测进程和第二异常应用数据检测进程对所述用户行为特征进行风险预测处理,得到所述目标用户的行为风险预测结果;根据目标用户的行为风险预测结果以及所述用户画像信息,确定与所述目标用户应用数据中的异常应用数据。由此,能够实现通过用户第一异常应用数据检测进程和第二异常应用数据检测进程对目标用户的行为进行实时监测,并根据风险预测结果执行相匹配的事件执行策略,使得用户第一异常应用数据检测进程和第二异常应用数据检测进程的泛化能力以及数据处理能力更强,适应不同的使用环境,降低用户第一异常应用数据检测进程和第二异常应用数据检测进程的鲁棒性。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种异常应用数据检测方法,其特征在于,所述方法包括:
响应于信息触发请求,获取与目标用户相匹配的应用数据;
对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;
当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;
通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;
当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;
通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,将所述时序数据类型的应用数据转换为表格数据类型的应用数据;
基于经过转换所形成的表格数据类型的应用数据,确定与所述目标用户应用数据中的异常应用数据。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述目标用户相匹配的应用数据,包括:
基于所述目标用户所处的应用数据使用场景,触发相对应的应用程序接口,并通过所述应用程序接口建立与所述目标用户相匹配的应用数据传输链接;
通过应用程序接口所建立的应用数据传输链接,获取所述应用程序接口传输的与不同应用进程相匹配的应用数据;
基于所述目标用户所处的应用数据使用场景,得到与目标用户所处的应用数据使用场景境相匹配的噪声参数;
基于所述噪声参数,对所获取的应用程序接口传输的与不同应用进程相匹配的应用数据进行除噪处理,形成与目标用户相匹配的用户应用数据。
3.根据权利要求1所述的方法,其特征在于,所述对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型,包括:
解析所获取的与所述目标用户相匹配的应用数据所携带的数据类型标识,其中,所述数据类型标识包括至少以下之一:用户画像数据标识、交易流水数据标识;
基于所述数据类型标识,确定所述应用数据的数据类型。
4.根据权利要求1所述的方法,其特征在于,所述通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据,包括:
通过所述第一异常应用数据检测进程对所述表格数据类型的应用数据进行概率分布侦测,确定所述表格数据类型的应用数据的概率分布模型;
确定所述表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值;
基于所述表格数据类型的应用数据服从所述概率分布模型的概率,以及相对应的异常检测阈值,确定所述表格数据类型的应用数据中的异常数据点。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当不能确定表格数据类型的应用数据的概率分布模型时,触发基于关联结构的异常检测进程;
通过所述基于关联结构的异常检测进程,利用经验变量间相关性函数,预测所述表格数据类型的应用数据中每一个数据点的尾概率;
基于所述表格数据类型的应用数据中每一个数据点的尾概率,确定表格数据类型的应用数据中的异常数据点。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取与所述关联结构的异常检测进程相匹配的数据集;
根据所获取的数据集计算所述关联结构的异常检测进程所对应的经验累积分布函数;
基于所述经验累积分布函数,确定所述经验变量间相关性函数。
7.根据权利要求1所述的方法,其特征在于,所述通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,将所述时序数据类型的应用数据转换为表格数据类型的应用数据,包括:
通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行时间序列分解处理,形成长期趋势参数、周期趋势参数以及残差参数;
基于所述长期趋势参数、周期趋势参数以及残差参数,将所述时序数据类型的应用数据转换为表格数据类型的应用数据。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行傅里叶变换处理,确定所述时序数据类型的应用数据的幅频特性;
基于所述时序数据类型的应用数据的幅频特性,确定相应的周期趋势参数。
9.根据权利要求1-8任一所述的方法,其特征在于,所述方法还包括:
将目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据送至区块链网络,以使
所述区块链网络的节点将所述目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据填充至新区块,且当对所述新区块共识一致时,将所述新区块追加至区块链的尾部。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收所述区块链网络中的其他节点的数据同步请求;
响应于所述数据同步请求,对所述其他节点的权限进行验证;
当所述其他节点的权限通过验证时,控制当前节点与所述其他节点之间进行数据同步,以实现所述其他节点获取目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
响应于查询请求,解析所述查询请求以获取对应的对象标识;
根据所述对象标识,获取区块链网络中的目标区块内的权限信息;
对所述权限信息与所述对象标识的匹配性进行校验;
当所述权限信息与所述对象标识相匹配时,在所述区块链网络中获取相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据;
响应于所述查询指令,将所获取的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据向相应的客户端进行推送,以实现所述客户端获取所述区块链网络中所保存的相应的目标用户标识、与所述目标用户相匹配的应用数据以及异常应用数据。
12.一种异常应用数据检测装置,其特征在于,所述装置包括:
信息传输模块,用于获取与所述目标用户相匹配的应用数据;
信息处理模块,用于对所获取的与所述目标用户相匹配的应用数据进行数据分类,确定所述应用数据的数据类型;
所述信息处理模块,用于当所述应用数据的数据类型为表格数据类型时,触发第一异常应用数据检测进程;
所述信息处理模块,用于通过所述第一异常应用数据检测进程对表格数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据;
所述信息处理模块,用于当所述应用数据的数据类型为时序数据类型时,触发第二异常应用数据检测进程;
所述信息处理模块,用于通过所述第二异常应用数据检测进程对时序数据类型的应用数据进行处理,确定与所述目标用户应用数据中的异常应用数据。
13.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于运行所述存储器存储的可执行指令时,实现权利要求1至11任一项所述的异常应用数据检测方法。
14.一种计算机可读存储介质,存储有可执行指令,其特征在于,所述可执行指令被处理器执行时实现权利要求1至11任一项所述的异常应用数据检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004644.8A CN112989338A (zh) | 2021-01-04 | 2021-01-04 | 异常应用数据检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110004644.8A CN112989338A (zh) | 2021-01-04 | 2021-01-04 | 异常应用数据检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112989338A true CN112989338A (zh) | 2021-06-18 |
Family
ID=76345227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110004644.8A Pending CN112989338A (zh) | 2021-01-04 | 2021-01-04 | 异常应用数据检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989338A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113935574A (zh) * | 2021-09-07 | 2022-01-14 | 中金支付有限公司 | 异常交易的监测方法、装置、计算机设备和存储介质 |
CN114785965A (zh) * | 2022-04-20 | 2022-07-22 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
CN117793464A (zh) * | 2023-12-27 | 2024-03-29 | 北京新联财通咨询有限公司 | 视频作品的互动数据处理方法及装置、存储介质、终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334781A (zh) * | 2018-03-07 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 病毒检测方法、装置、计算机可读存储介质和计算机设备 |
CN109783556A (zh) * | 2018-12-24 | 2019-05-21 | 浙江工业大学 | 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法 |
CN109886016A (zh) * | 2018-12-27 | 2019-06-14 | 慧安金科(北京)科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
KR20190083458A (ko) * | 2018-01-04 | 2019-07-12 | 주식회사 케이티 | 네트워크 침입탐지시스템 및 그 방법 |
CN111311409A (zh) * | 2020-02-13 | 2020-06-19 | 腾讯云计算(北京)有限责任公司 | 目标对象确定方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-04 CN CN202110004644.8A patent/CN112989338A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190083458A (ko) * | 2018-01-04 | 2019-07-12 | 주식회사 케이티 | 네트워크 침입탐지시스템 및 그 방법 |
CN108334781A (zh) * | 2018-03-07 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 病毒检测方法、装置、计算机可读存储介质和计算机设备 |
CN109783556A (zh) * | 2018-12-24 | 2019-05-21 | 浙江工业大学 | 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法 |
CN109886016A (zh) * | 2018-12-27 | 2019-06-14 | 慧安金科(北京)科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
CN111311409A (zh) * | 2020-02-13 | 2020-06-19 | 腾讯云计算(北京)有限责任公司 | 目标对象确定方法、装置、电子设备及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113935574A (zh) * | 2021-09-07 | 2022-01-14 | 中金支付有限公司 | 异常交易的监测方法、装置、计算机设备和存储介质 |
CN113935574B (zh) * | 2021-09-07 | 2023-09-29 | 中金支付有限公司 | 异常交易的监测方法、装置、计算机设备和存储介质 |
CN114785965A (zh) * | 2022-04-20 | 2022-07-22 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
CN114785965B (zh) * | 2022-04-20 | 2023-09-05 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
CN117793464A (zh) * | 2023-12-27 | 2024-03-29 | 北京新联财通咨询有限公司 | 视频作品的互动数据处理方法及装置、存储介质、终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11620403B2 (en) | Systems and methods for secure data aggregation and computation | |
US11790370B2 (en) | Techniques for expediting processing of blockchain transactions | |
CN111681091B (zh) | 基于时间域信息的金融风险预测方法、装置及存储介质 | |
CN111401558B (zh) | 数据处理模型训练方法、数据处理方法、装置、电子设备 | |
CN107306183B (zh) | 客户端、服务端、方法和身份验证系统 | |
US20180357683A1 (en) | Rating data management | |
CN110569658B (zh) | 基于区块链网络的用户信息处理方法、装置、电子设备及存储介质 | |
CN112989338A (zh) | 异常应用数据检测方法、装置、电子设备及存储介质 | |
CN111309745B (zh) | 虚拟资源处理方法、装置、电子设备及存储介质 | |
CN114679282A (zh) | 用区块链实施的用于安全投票和分配的计数系统和方法 | |
US20200127844A1 (en) | Apparatus, systems, and methods for stemmed blockchain operation with secured participant identities | |
US11087334B1 (en) | Method and system for identifying potential fraud activity in a tax return preparation system, at least partially based on data entry characteristics of tax return content | |
Han et al. | A survey on blockchain-based integrity auditing for cloud data | |
CN111367965B (zh) | 目标对象确定方法、装置、电子设备及存储介质 | |
GB2539430A (en) | Digital token exchange system | |
US11354669B2 (en) | Collaborative analytics for fraud detection through a shared public ledger | |
Perez et al. | Revisiting transactional statistics of high-scalability blockchains | |
CN111311409A (zh) | 目标对象确定方法、装置、电子设备及存储介质 | |
US11831666B2 (en) | Blockchain data breach security and cyberattack prevention | |
US20230070625A1 (en) | Graph-based analysis and visualization of digital tokens | |
Abubaker et al. | Trustful data trading through monetizing IoT data using BlockChain based review system | |
CN112600830A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
Bruschi et al. | Tunneling trust into the blockchain: A merkle based proof system for structured documents | |
US20240161108A1 (en) | Methods and systems for forensic investigations in contract networks | |
CN111292184A (zh) | 文件反馈的告警提示方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40047334 Country of ref document: HK |