CN112766975A - 一种风险侦测方法、装置、电子设备和可读存储介质 - Google Patents
一种风险侦测方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN112766975A CN112766975A CN202110077003.5A CN202110077003A CN112766975A CN 112766975 A CN112766975 A CN 112766975A CN 202110077003 A CN202110077003 A CN 202110077003A CN 112766975 A CN112766975 A CN 112766975A
- Authority
- CN
- China
- Prior art keywords
- target transaction
- transaction data
- risk
- target
- risk detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 239000012634 fragment Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及计算机技术领域，尤其涉及一种风险侦测方法、装置、电子设备和可读存储介质，所述方法包括将获取的目标用户的目标交易数据存储于Kafka消息系统；基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；如果所述分析结果符合预设的风险告警规则，则启动风险告警。本申请提供的风险侦测方案实现了7*24小时的高可用，支持在线水平扩容，为业务人员提供了高效的规则编辑功能，且支持历史交易回归验证、查询，支持百亿级数据量。
Description
技术领域
本申请涉及计算机数据处理技术领域，尤其涉及一种风险侦测方法、装置、电子设备和可读存储介质。
背景技术
在线支付由于其便捷性和与日常生活的紧密相关性而受到消费者的青睐，并已经成为主流的交易支付方式。然而，在线支付也导致了更多的交易欺诈风险。目前业界主要采用基于规则的方法来应对在线支付的交易欺诈风险，例如基于关系数据库的传统交易风险侦测系统，主要采用数据库表SQL查询语句即风控规则，需查询数据库的SQL数量＝风控规则数量*当前瞬时交易量，日常风险侦测数据量较小所以没有什么问题，但是当客户群瞬时交易量激增时(如双十一零点后巨量客户集中进行消费交易)，需查询数据库的SQL数量被等比例放大(即读放大)后，导致数据库性能急剧下降，导致系统处理能力急剧下降，最终导致风险交易报警延迟、相应的风控处置不及时，客户和金融公司遭受损失。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：
第一方面，本申请实施例提供一种风险侦测方法，所述方法包括：
将获取的目标用户的目标交易数据存储于Kafka消息系统；
基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；
如果所述分析结果符合预设的风险告警规则，则启动风险告警。
可选地，所述将获取的目标用户的目标交易数据存储于Kafka消息系统包括：
提取所述目标交易数据至少一个特征信息；其中所述目标交易数据至少包括以下特征信息：目标用户身份信息、目标交易卡片信息、目标交易类型、目标交易方向、目标交易时间、目标交易地理位置、目标交易金额；
根据所述提取的至少一个特征信息将所述目标交易数据划分为N个分片；
将所述N个分片存储于所述Kafka消息系统。
可选地，在基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理之前，所述方法还包括：
将所述N个分片的目标交易数据存储于Cassandra数据库。
可选地，所述基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理包括：
解析N个分片的目标交易数据中特征信息并处理为可以被Esper处理的格式数据；
将所述处理的格式目标交易数据存储于Cassandra数据库；
根据解析的特征信息和预存规则配置表，生成风险侦测规则；
Esper读取Cassandra数据库中的目标交易数据，并按照所述的风险侦测规则对所述的目标交易数据进行分析处理。
可选地，所述启动风险告警包括：
将所述风险告警信息发送至Kafka消息系统；
所述Kafka消息系统根据所述风险告警信息向系统发送风险处置消息。
可选地，所述基于Apache Storm和Esper复杂事件处理组件的程序分别读取N个分片的目标数据。
可选地，所述方法还包括：
在Esper组件中构建时间窗口；其中所述时间窗口具有可编辑的显示界面；
所述时间窗口可用于写入目标交易数据和风险侦测规则。
第二方面，本申请实施例提供了一种风险侦测装置，所述装置包括：读取模块、存储模块、处理模块、输出模块、判断模块和告警模块，其中，
所述读取模块，用于获取的目标用户的目标交易数据；
所述存储模块，用于将获取的目标用户的目标交易数据存储于Kafka消息系统；
所述读取模块，还用于基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
所述处理模块，还用于基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理；
所述输出模块，还用于输出分析结果；
所述判断模块，用于判断所述分析结果是否符合预设的风险告警规则；
所述告警模块，用于启动风险告警
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述风险侦测方法。
第四方面，一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述风险侦测的方法。
本申请实施例公开的风险侦测方案，通过将获取的目标用户的目标交易数据存储于Kafka消息系统；基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；如果所述分析结果符合预设的风险告警规则，则启动风险告警。本申请实施例提供的技术方案带来的有益效果是：
(1)系统依赖分布式的Kafka消息队列、分布式计算框架Storm、分布式数据库Cassandra等分布式组件，避免了系统的单节点故障，实现了7*24小时的高可用。同时支持在线水平扩容，且进行扩容时，系统无需停机，业务可正常进行。
(2)面向专业的数据分析/风控人员，提供了高效的规则编辑功能。上线新风控规则，完全由业务人员自行编辑，新增/变更规则，可即时生效，无需技术人员介入。
(3)扩展了监控时间窗口期限，规则报警支持亿级数据量；
(4)支持历史交易回归验证、查询，支持百亿级数据量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种风险侦测方法的流程示意图；
图2为本申请实施例提供的一种风险侦测装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为更清楚地介绍本申请实施例，下面介绍一些可能用于实施例的定义、概念或装置：
MySQL是一种开放源代码的关系型数据库管理系统(RDBMS)，使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
Apache Storm是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理，像Hadoop一样实现实时批处理。Storm很简单，可用于任意编程语言。Apache Storm采用Clojure开发。
Apache Cassandra是一套开源分布式数据库管理系统，由Facebook开发，用于储存特别大的数据，具有分布式、基于column的结构化、高伸展性，Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra的一个写操作，会被复制到其它节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加节点就可以了。
结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。
Esper是一个复杂事件处理组件，内嵌在Java进程之中运行。
如前所述业界主要采用基于规则的方法应对在线支付的交易欺诈风险。目前这种风险侦测方式存在以下技术问题：(1)这种方式在交易数据激增时会存在数据库性能急剧下降，导致系统处理能力急剧下降，最终导致风险交易报警延迟、相应的风控处置不及时的问题，同时关系数据库水平扩展能力较一般，支持的数据量在千万级别，难以迅速扩容，提升系统处理能力。(2)对于交易风险，各种新的欺诈方式变化很快、层出不穷，风控规则需要快速调整以响应变化.但是分布式流计算组件在计算交易相关的风险特征时，每新增一个风险特征，均需技术人员新增编码实现，实施周期长。(3)目前这种方式基本都采用缓存交易记录来实现，但是但缓存系统中的数据具有易失性，且不可回溯，这对于风控规则的回归验证极端不友好，影响报警交易的可解释性。基于此本申请公开了一种风险侦测方案，以至少解决上述技术问题之一。
下面将结合附图以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
为使本申请的目的、技术方案和优点更加清楚，图1公开了本申请实施例提供的一种风险侦测方法的流程图，如图1所示，所述风险侦测方法包括：
S101、将获取的目标用户的目标交易数据存储于Kafka消息系统；
在本步骤中，可选地的，所述方法还包括提取所述目标交易数据至少一个特征信息；其中所述目标交易数据至少包括以下特征信息：目标用户身份信息、目标交易卡片信息、目标交易类型、目标交易方向、目标交易时间、目标交易地理位置、目标交易金额；根据所述提取的至少一个特征信息将所述目标交易数据划分为N个分片；将所述N个分片存储于所述Kafka消息系统。在实际实施例中，所述方案可解释为将客户使用信用卡时、时刻产生的客户信用卡授权交易数据，从信用卡核心系统主机实时采集后，每笔交易作为一个消息(message)写入分布式消息组件Kafka的Topic，形成了不间断Kafka消息流或数据流。特别的，写入时使用信用卡卡号等特征字段进行数据分片，例如采用信用卡卡号以确定对应的交易数据写入Kafka时所在的分片，此即为分布式系统中的N个数据分片。
基于本申请实施例，解决了目前目标交易信息存储的扩容问题，当信用卡客户量提升、或者双十一交易量突增时，扩容增加Kakfa Topic的分片数量，即可提升分布式消息组件Kafka的容量。
S102、基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
在本申请可选实施例中，可将风控引擎部署在分布式流式计算组件Apache Storm集群之上。风控引擎运行使用多进程及多线程的方式，其每一个Java进程即可订阅、消费、处理Kafka Topic中的一个或多个对应分片的消息。
S103、基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；
本申请实施例中所述的Esper是复杂事件处理组件，内嵌在Java进程之中。在Esper组件中构建时间窗口；其中所述时间窗口具有可编辑的显示界面；所述时间窗口可用于写入目标交易数据和风险侦测规则，将某一张信用卡按照时间先后顺序发生的多次交易消息，保存在Epser内存中的时间窗口。当在一定的时间范围内(或时间窗口内)，某一张信用卡按照时间先后顺序发生的多次交易符合预设的风险侦测规则时，即判定这些交易触发风险告警。与上述Kafka消息系统扩容同理，增加Java进程数量，以增加监控的“时间窗口”的吞吐量，即可实现水平扩容，提升风险侦测引擎的处理能力。
S104、如果所述分析结果符合预设的风险告警规则，则启动风险告警。
在可选实施例中，本步骤中的启动风险告警实现方式为将所述风险告警信息发送至Kafka消息系统的消息队列，即将触发规则的报警交易发送至Kafka消息系统另一Topic中以触发系统后续的处置，Kafka消息系统根据所述风险告警信息向系统发送风险处置消息。所述风险处理消息包括通知卡片冻结，限制交易金额等，或者触发系统与客户的交互，以短信通知、微信交易确认、智能语音外呼进行告警，在此不再赘述。
在本申请可选实施例中，在基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理之前或进行时，所述方法还包括：将所述N个分片的目标交易数据存储于Cassandra数据库。即在系统风控引擎运行时，将刚发生的信用卡交易数据写入分布式数据库Cassandra中，同时读取卡片的历史交易数据。分布式数据库Cassandra具有多个分片，某一信用卡的所有交易数据，根据哈希算法保存到特定的分片中。
与上述Kafka消息系统扩容同理，增加Cassandra数据库的节点数，即可提升读写性能，以提高系统处理能力。
因金融交易数据具有时间序列数据的特点。例如，对于同一张卡片，其在一定时间范围内发生的交易，可以按交易发生的时间顺序进行组织或排列。因此，金融交易数据非常适合保存于时间序列数据库中。分布式NoSQL数据库Cassandra，即是一个优秀的时间序列数据库。根据其特性，写性能极佳，表设计时应专为查询语句优化，将查询语句设计为对指定RowKey的查询。基于此，本申请采用Cassandra数据库来对交易数据进行记录，记录逻辑为将保存卡片授权交易数据的表(命名为tran_window)，应以卡号为分区的PartitioningKey，账户号、客户号等作为二级索引；交易时间为Clustering Column且倒序排列，具体交易信息字段按交易时间戳进行组织。逻辑上可以抽象为，将同一个卡号的所有交易数据存储到Cassandra表的一行中。
本申请上述实施例，从系统整体架构的层面上，通过对以上3个分布式组件ApacheKafka、Apache Storm、Apache Cassandra的整合、集成，可以形成一个完整的、基于分布式复杂事件处理的金融交易风险侦测系统。避免了系统的单节点故障，实现了7*24小时的高可用。同时支持在线水平扩容，且进行扩容时，系统无需停机，业务可正常进行。
在本身可选实施例中，可选地，所述基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理包括：
解析N个分片的目标交易数据中特征信息并处理为可以被Esper处理的格式数据；
将所述处理的格式目标交易数据存储于Cassandra数据库；
根据解析的特征信息和预存规则配置表，生成风险侦测规则；
Esper读取Cassandra数据库中的目标交易数据，并按照所述的风险侦测规则对所述的目标交易数据进行分析处理。
为了更好地对上述实施例中的风险侦测方案进行介绍，以下结合银行卡交易流程实际流程对本申请方案进行介绍如下：
步骤1、将获取的交易数据写入Kafka Message队列消息中：每个消息是一笔独立的授权交易数据。
步骤2、对Kafka消息数据进行解析：对授权交易消息进行解析、解码，对消息中的各个特征字段(如信用卡卡号、客户证件号、交易金额、收单行号、交易商户号、交易时间等等)进行格式转换，处理为可以被Esper处理的格式数据。
步骤3、根据解析的特征信息和预存规则配置表，生成风险侦测规则：，根据消息中原始的特征字段信息，生成执行规则所需的衍生变量。例如，根据消息中的客户证件号前六位判断客户籍贯所在城市，根据收单行号判断交易所在城市，根据的证件号判断是否为高端客户，等等。这部分规则变量查询系统内置的参数表、白名单、灰名单可得。
步骤4、将所述处理的格式目标交易数据存储于Cassandra数据库：将消息中的交易数据，持久化保存到Cassandra数据库中。
步骤5、Cassandra查询历史交易环节，查询、准备卡片相关的数据用于下一个步骤的规则判断。具体是，获取消息中的信用卡号，从Cassandra数据库中查询获取卡片历史交易数据，同时查询获取卡片相关的长时间跨度的风险特征(如最近1年卡片是否发生过境外交易)。长时间跨度的风险特征，可以由FaceBook Presto等分布式的离线计算组件定时计算、统计，此处不赘述。
步骤6、Esper读取Cassandra数据库中的目标交易数据，并按照所述的风险侦测规则对所述的目标交易数据进行分析处理：在程序的内存中，利用Esper组件进行复杂事件处理，持续、实时地对客户卡片发生交易的这一事件流/消息流进行分析，判定哪些交易可能存在欺诈风险，并将触发规则的交易作为报警(Alert)发送至下一个环节KafkaAlertBolt，忽略未触发规则的交易。
步骤7、将所述风险告警信息发送至Kafka消息系统以触发风险处置：将触发规则的告警交易发送至Kafka消息系统另一Topic中，以触发系统后续的处置，例如卡片冻结，限制交易金额等等；或者触发系统与客户的交互，短信通知、微信交易确认、智能语音外呼等等。此处不赘述。
在本申请实施例中，可以在Esper组件中构建时间窗口，如前所述所述时间窗口具有可编辑的显示界面；所述时间窗口可用于写入目标交易数据和风险侦测规则。在金融交易风险侦测领域，若要实现对当前金融交易事件、及同一卡片、客户等的历史交易数据的一些条件判定，或者说规则判定，利用Esper提供的特有的SQL语法，即可转换为对内存中时间窗口(表)内数据的SQL查询。通过对LastFact及DataWindow表做各种子查询、聚合等等，即可实现对于金融交易的单笔、频率、统计规则。其中统计规则示例如下：
(1)单笔规则，判断当前交易是否满足某些条件。如，当前交易人民币交易金额大于1000
(2)频率类规则，当前交易满足特定条件，且历史交易满足某些其它条件。如，卡片当前交易人民币交易金额大于1000，且5分钟内有人民币交易金额大于2000的交易
3.3、统计类规则，当前交易满足特定条件，且历史交易的统计值满足某项条件。如，当前交易为成功的消费交易且同一卡片当天累计成功交易金额大于10万人民币。
基于图1所示的实施例提供的风险侦测方法，图2示出了本申请实施例提供的一种风险侦测装置，如图2所示，该装置主要可以包括：201读取模块、202存储模块、203处理模块、204输出模块、205判断模块和206告警模块，其中，
所述201读取模块，用于获取的目标用户的目标交易数据；
所述202存储模块，用于将获取的目标用户的目标交易数据存储于Kafka消息系统；
所述202读取模块，还用于基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
所述203处理模块，还用于基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理；
所述204输出模块，还用于输出分析结果；
所述205判断模块，用于判断所述分析结果是否符合预设的风险告警规则；
所述206告警模块，用于启动风险告警。
在可选实施例中，所述读取模块提取所述目标交易数据至少一个特征信息；其中所述目标交易数据至少包括以下特征信息：目标用户身份信息、目标交易卡片信息、目标交易类型、目标交易方向、目标交易时间、目标交易地理位置、目标交易金额；
所述装置还包括数据处理模块，用于根据所述提取的至少一个特征信息将所述目标交易数据划分为N个分片；
所述存储模块，用于将所述N个分片存储于所述Kafka消息系统。
在可选实施例中，所述存储模块用于将所述N个分片的目标交易数据存储于Cassandra数据库。
所述数据处理模块，其中所述数据处理模块用于解析N个分片的目标交易数据中特征信息并处理为可以被Esper处理的格式数据；
所述存储模块将所述处理的格式目标交易数据存储于Cassandra数据库；
所述数据处理模块根据解析的特征信息和预存规则配置表，生成风险侦测规则；
Esper读取Cassandra数据库中的目标交易数据，并按照所述的风险侦测规则对所述的目标交易数据进行分析处理。
所述启动风险告警包括：将所述风险告警信息发送至Kafka消息系统；
所述Kafka消息系统根据所述风险告警信息向系统发送风险处置消息。
在本申请可选实施例中，所述基于Apache Storm和Esper复杂事件处理组件的程序分别读取N个分片的目标数据。
在本申请可选实施例中，所述方法还包括：
在Esper组件中构建时间窗口；其中所述时间窗口具有可编辑的显示界面；所述时间窗口可用于写入目标交易数据和风险侦测规则。
可以理解的是，本实施例中的风险侦测装置的上述各模块具有实现图1中所示的实施例中的方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述各模块的功能描述具体可以参见图1中所示实施例中的方法的对应描述，在此不再赘述。
本申请实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的风险侦测方法。
作为一个示例，图3示出了本申请实施例所适用的一种电子设备的结构示意图，如图3所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。
处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的风险侦测方法。
本申请实施例提供的电子设备，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的风险侦测方法。
本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，在此不再赘述。
本申请实施例公开的风险侦测方案，通过将获取的目标用户的目标交易数据存储于Kafka消息系统；基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；如果所述分析结果符合预设的风险告警规则，则启动风险告警。本申请实施例提供的风险侦测方案实现了7*24小时的高可用，支持在线水平扩容，为业务人员提供了高效的规则编辑功能，且支持历史交易回归验证、查询，支持百亿级数据量。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种风险侦测方法，其特征在于，所述方法包括：
将获取的目标用户的目标交易数据存储于Kafka消息系统；
基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理并输出分析结果；
如果所述分析结果符合预设的风险告警规则，则启动风险告警。
2.根据权利要求1所述的风险侦测方法，其特征在于，所述将获取的目标用户的目标交易数据存储于Kafka消息系统包括：
提取所述目标交易数据至少一个特征信息；其中所述目标交易数据至少包括以下特征信息：目标用户身份信息、目标交易卡片信息、目标交易类型、目标交易方向、目标交易时间、目标交易地理位置、目标交易金额；
根据所述提取的至少一个特征信息将所述目标交易数据划分为N个分片；
将所述N个分片存储于所述Kafka消息系统。
3.根据权利要求2所述的风险侦测方法，其特征在于，在基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理之前，所述方法还包括：
将所述N个分片的目标交易数据存储于Cassandra数据库。
4.根据权利要求3所述的风险侦测方法，其特征在于，所述基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理包括：
解析N个分片的目标交易数据中特征信息并处理为可以被Esper处理的格式数据；
将所述处理的格式目标交易数据存储于Cassandra数据库；
根据解析的特征信息和预存规则配置表，生成风险侦测规则；
Esper读取Cassandra数据库中的目标交易数据，并按照所述的风险侦测规则对所述的目标交易数据进行分析处理。
5.根据权利要求4所述的风险侦测方法，其特征在于，所述启动风险告警包括：
将所述风险告警信息发送至Kafka消息系统；
所述Kafka消息系统根据所述风险告警信息向系统发送风险处置消息。
6.根据权利要求5所述的风险侦测方法，其特征在于，所述基于Apache Storm和Esper复杂事件处理组件的程序分别读取N个分片的目标数据。
7.根据权利要求1-6任一项所述的风险侦测方法，其特征在于，所述方法还包括：
在Esper组件中构建时间窗口；其中所述时间窗口具有可编辑的显示界面；
所述时间窗口可用于写入目标交易数据和风险侦测规则。
8.一种风险侦测装置，其特征在于，所述装置包括：读取模块、存储模块、处理模块、输出模块、判断模块和告警模块，其中，
所述读取模块，用于获取的目标用户的目标交易数据；
所述存储模块，用于将获取的目标用户的目标交易数据存储于Kafka消息系统；
所述读取模块，还用于基于Apache Storm的程序读取Kafka消息系统中的目标交易数据；
所述处理模块，还用于基于Apache Storm和Esper复杂事件处理组件的程序对所述目标交易数据进行分析处理；
所述输出模块，还用于输出分析结果；
所述判断模块，用于判断所述分析结果是否符合预设的风险告警规则；
所述告警模块，用于启动风险告警。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110077003.5A CN112766975A (zh) | 2021-01-20 | 2021-01-20 | 一种风险侦测方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110077003.5A CN112766975A (zh) | 2021-01-20 | 2021-01-20 | 一种风险侦测方法、装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766975A true CN112766975A (zh) | 2021-05-07 |
Family
ID=75701912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110077003.5A Pending CN112766975A (zh) | 2021-01-20 | 2021-01-20 | 一种风险侦测方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766975A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379325A (zh) * | 2021-07-06 | 2021-09-10 | 中国工商银行股份有限公司 | 风险控制处理方法及装置 |
| CN116319055A (zh) * | 2023-04-07 | 2023-06-23 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170148264A1 (en) * | 2014-06-16 | 2017-05-25 | Kinderguardian Inc. | System and method for managing behavior |
| CN108305166A (zh) * | 2018-04-04 | 2018-07-20 | 淮阴师范学院 | 一种面向金融领域的反交易欺诈方法 |
| US20190095992A1 (en) * | 2017-09-24 | 2019-03-28 | Annie Mafotsing Soh | Method and system to facilitate decentralized money services software as a service |
| CN109697567A (zh) * | 2018-12-27 | 2019-04-30 | 上海农村商业银行股份有限公司 | 一种大数据实时风险预警方法及系统 |
| CN109767110A (zh) * | 2019-01-04 | 2019-05-17 | 中国银行股份有限公司 | 一种风险控制系统优化方法、装置、设备及存储介质 |
| CN111353892A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 交易风险监控方法及装置 |
| CN111951008A (zh) * | 2020-07-22 | 2020-11-17 | 中国建设银行股份有限公司 | 一种风险预测方法、装置、电子设备和可读存储介质 |
| CN111951010A (zh) * | 2020-07-26 | 2020-11-17 | 中国建设银行股份有限公司 | 一种基于规则引擎的业务决策方法、装置、电子设备和可读存储介质 |
| CN112015578A (zh) * | 2020-10-26 | 2020-12-01 | 上海富友支付服务股份有限公司 | 基于事前同步处理和事后异步处理的风控系统和方法 |
| US20200402058A1 (en) * | 2019-06-20 | 2020-12-24 | Coupang Corp. | Systems and methods for real-time processing of data streams |
| CN112187570A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种风险侦测方法、装置、电子设备和可读存储介质 |
-
2021
- 2021-01-20 CN CN202110077003.5A patent/CN112766975A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170148264A1 (en) * | 2014-06-16 | 2017-05-25 | Kinderguardian Inc. | System and method for managing behavior |
| US20190095992A1 (en) * | 2017-09-24 | 2019-03-28 | Annie Mafotsing Soh | Method and system to facilitate decentralized money services software as a service |
| CN108305166A (zh) * | 2018-04-04 | 2018-07-20 | 淮阴师范学院 | 一种面向金融领域的反交易欺诈方法 |
| CN109697567A (zh) * | 2018-12-27 | 2019-04-30 | 上海农村商业银行股份有限公司 | 一种大数据实时风险预警方法及系统 |
| CN109767110A (zh) * | 2019-01-04 | 2019-05-17 | 中国银行股份有限公司 | 一种风险控制系统优化方法、装置、设备及存储介质 |
| US20200402058A1 (en) * | 2019-06-20 | 2020-12-24 | Coupang Corp. | Systems and methods for real-time processing of data streams |
| CN111353892A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 交易风险监控方法及装置 |
| CN111951008A (zh) * | 2020-07-22 | 2020-11-17 | 中国建设银行股份有限公司 | 一种风险预测方法、装置、电子设备和可读存储介质 |
| CN111951010A (zh) * | 2020-07-26 | 2020-11-17 | 中国建设银行股份有限公司 | 一种基于规则引擎的业务决策方法、装置、电子设备和可读存储介质 |
| CN112187570A (zh) * | 2020-09-15 | 2021-01-05 | 中信银行股份有限公司 | 一种风险侦测方法、装置、电子设备和可读存储介质 |
| CN112015578A (zh) * | 2020-10-26 | 2020-12-01 | 上海富友支付服务股份有限公司 | 基于事前同步处理和事后异步处理的风控系统和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379325A (zh) * | 2021-07-06 | 2021-09-10 | 中国工商银行股份有限公司 | 风险控制处理方法及装置 |
| CN116319055A (zh) * | 2023-04-07 | 2023-06-23 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
| CN116319055B (zh) * | 2023-04-07 | 2023-12-19 | 广州趣研网络科技有限公司 | 一种风险处理方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123047B (zh) | 基于债券交易的数据采集系统及其数据采集方法 | |
| US11921697B2 (en) | Methods and systems for detecting spurious data patterns | |
| US11972228B2 (en) | Merging database tables by classifying comparison signatures | |
| CN111177214A (zh) | 事件联动处理方法、装置、系统、电子设备及存储介质 | |
| CN112766975A (zh) | 一种风险侦测方法、装置、电子设备和可读存储介质 | |
| CN113298638B (zh) | 根因定位方法、电子设备及存储介质 | |
| US10824694B1 (en) | Distributable feature analysis in model training system | |
| CN110377623B (zh) | 一种基于事件驱动的监查系统 | |
| CN110609941A (zh) | 互联网操作事件的风险识别方法及装置 | |
| CN111897790A (zh) | 风控日志采集方法、装置、电子设备及存储介质 | |
| CN111241059A (zh) | 一种基于数据库的数据库优化方法及装置 | |
| CN117033424A (zh) | 慢sql语句的查询优化方法、装置和计算机设备 | |
| CN116483666A (zh) | 一种基于时空关联性的多源异构告警信息融合方法及系统 | |
| CN116701525A (zh) | 一种基于实时数据分析的预警方法、系统和电子设备 | |
| CN110196868A (zh) | 基于分布式的工单流程监控方法 | |
| CN110851758B (zh) | 一种网页访客数量统计方法及装置 | |
| CN115361182A (zh) | 一种僵尸网络行为分析方法、装置、电子设备及介质 | |
| CN114897613A (zh) | 一种异常交易行为检测方法、系统、电子设备及存储介质 | |
| US10521857B1 (en) | System and method for identity-based fraud detection | |
| CN110990810B (zh) | 一种用户操作数据处理方法、装置、设备及存储介质 | |
| CN112667468A (zh) | 多云环境下云资源自动化运维的方法与设备 | |
| CN113986840A (zh) | 一种区块链数据多级存储、读取方法及存储系统 | |
| CN113535772A (zh) | 一种商户退款执行方法和装置 | |
| CN112765114A (zh) | 一种金融系统日志文件处理方法及系统 | |
| RU2823915C1 (ru) | Способ и устройство для обработки событий в системе противодействия мошенничеству |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |