CN111078757B - 一种自主学习的业务风控规则引擎系统及风险评估方法 - Google Patents

Abstract

本发明提供一种自主学习的业务风控规则引擎系统及风险评估方法，所述系统包括业务数据fanout组件、时序数据存储系统、时序数据分析系统、以及实时风控规则引擎，其中业务数据fanout组件将来自业务系统的日志数据进行镜像复制，并分发给时序数据存储系统及实时风控规则引擎；时序数据存储系统以时序形式将日志数据存储为时序业务数据；时序数据分析系统以固定时间间隔对时序业务数据进行统计分析，找出异常数据的特征值并抽象为动态防控规则；实时风控规则引擎对日志数据逐条执行预定义的防控规则及动态防控规则，并将执行得到的风险评估结果返回给业务系统。本发明的有益效果：保证了风控规则防护的实时性，并提高了风控规则引擎的自动化程度。

Description

一种自主学习的业务风控规则引擎系统及风险评估方法

技术领域

本发明涉及互联网风控技术领域，尤其涉及一种自主学习的业务风控规则引擎系统及风险评估方法。

背景技术

对于互联网电商企业，一直以来都饱受互联网欺诈以及违规行为的困扰，比如用户恶意参与抢红包、秒杀、抢单等，商品图文中包含色情、暴恐、垃圾广告等违规内容，商家恶意刷销量、好评等。

目前对抗这些恶意行为的主要手段是风控规则引擎系统，具体是指，通过运营人员对业务日志数据进行分析，提炼出一些业务防控规则，并将这些防控规则编写成风控规则引擎；业务系统在每次接收到外部请求时，会将请求数据传递给风控规则引擎，风控规则引擎根据输入数据逐个执行编写好的各个业务防控规则；当出现命中的业务防控规则时，定性定量判断该外部请求是否安全，从而保护企业资产。

上述风控规则引擎系统的实现需要业务人员对业务日志数据进行分析并预先设计好风控规则，然后通过自定义风控规则的录入界面，按照一定的语法格式录入防控规则，规则更新之后进行实时编译并热部署到规则引擎服务器中，在后续的业务请求中生效。也就是说，所述实现方案需要业务人员人工对业务日志数据进行大量的事后分析工作之后，才能定义防控规则并发布上线，除了消耗人力成本之外，规则最终上线的时间点也严重滞后于恶意攻击行为发生的时间点，使得这些防控规则无法及时防控，并不能做到对企业资产的实时防护。

发明内容

有鉴于此，本发明提供了一种可自主学习的动态规则引擎系统，提高了风控规则引擎的自动化程度，同时也保证了规则防护的实时性。

本发明提供一种自主学习的业务风控规则引擎系统，包括业务数据fanout组件、时序数据存储系统、时序数据分析系统、以及实时风控规则引擎，其中：

所述业务数据fanout组件接收业务系统的日志数据，并将所述日志数据进行镜像复制，并分发给所述时序数据存储系统以及所述实时风控规则引擎；

所述时序数据存储系统以时序形式将来自所述业务数据fanout组件的日志数据存储为时序业务数据，所述时序数据分析系统以固定的时间间隔对所述时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则；

所述实时风控规则引擎根据来自所述业务数据fanout组件的日志数据，逐条执行预定义的防控规则以及由所述时序数据分析系统生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统。

进一步地，所述时序数据分析系统还包括定时模块、聚合统计库、聚合统计分析模块、以及特征规则匹配模块，其中：

所述定时模块用于设定所述时序数据分析系统进行数据分析的时间间隔；所述聚合统计库中预先保存有特定的时序查询语句，所述时序查询语句用于对业务数据进行统计分析；所述聚合统计分析模块通过执行所述聚合统计库中的时序查询语句，得到聚合统计分析结果；所述特征规则匹配模块将所述聚合统计分析结果与预定义的特征规则进行比对，进一步判断业务数据是否为异常数据。

进一步地，当发现异常数据时，所述时序数据分析系统根据异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至所述实时风控规则引擎。

本发明还提供一种自主学习的业务风险评估方法，采用上述自主学习的业务风控规则引擎系统，包括以下步骤：

S1、业务系统收到外部请求后，将记录所述请求的日志数据发送至业务数据fanout组件，所述业务数据fanout组件将所述日志数据进行镜像复制，分别发送给时序数据存储系统以及实时风控规则引擎；

S2、所述时序数据存储系统以时序形式将所述日志数据存储为时序业务数据；

S3、时序数据分析系统以固定的时间间隔对所述时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则；

S4、实时风控规则引擎根据来自所述业务数据fanout组件的日志数据，逐条执行预定义的防控规则以及由所述时序数据分析系统生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统。

进一步地，所述时序业务数据包括业务场景标签以及时间戳，所述业务场景标签包括若干关键字及对应的特征值。

进一步地，所述步骤S3的具体过程为：

S31、时序数据分析系统以固定的时间间隔，通过聚合统计分析模块定时对时序业务数据执行聚合统计库中的查询语句，得到聚合统计分析结果；

S32、特征规则匹配模块将所述聚合统计分析结果与预定义的特征规则进行比对，判断所述聚合统计分析结果对应的业务数据是否为异常数据；

S33、当发现异常数据时，时序数据分析系统根据所述异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至实时风控规则引擎。

进一步地，所述动态防控规则包括表达式以及所述表达式成立时执行的操作，所述表达式的内容根据异常数据的关键字及特征值确定，所述操作根据异常数据对应的业务请求来确定，包括拒绝访问、阻断请求。

本发明提供的技术方案带来的有益效果是：采用自主学习的模式，节省了人力成本；能够对企业资产进行实时防护。

附图说明

图1是本发明实施例提供的自主学习的业务风控规则引擎系统的结构图；

图2是本发明实施例提供的时序数据分析系统的结构图；

图3是本发明实施例提供的自主学习的业务风险评估方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明的实施例提供了一种自主学习的业务风控规则引擎系统，包括业务数据fanout组件1、时序数据存储系统2、时序数据分析系统3、以及实时风控规则引擎4，其中：

业务数据fanout组件1接收业务系统的日志数据，并将所述日志数据进行镜像复制，随后分发给时序数据存储系统2以及实时风控规则引擎4；时序数据存储系统2以时序形式将所述日志数据存储为时序业务数据，时序数据分析系统3以固定的时间间隔对所述时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则，然后发送给实时风控规则引擎4；实时风控规则引擎4根据来自业务数据fanout组件1的日志数据，逐条执行预定义的防控规则以及由时序数据分析系统3生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统。

请参考图2，时序数据分析系统3还包括定时模块31、聚合统计库32、聚合统计分析模块33、以及特征规则匹配模块34，其中，定时模块31用于设定时序数据分析系统3进行数据分析的时间间隔；聚合统计库32中预先保存有特定的时序查询语句，所述时序查询语句用于对业务数据进行统计分析；聚合统计分析模块33通过执行聚合统计库32中的时序查询语句，得到聚合统计分析结果；特征规则匹配模块34将所述聚合统计分析结果与预定义的特征规则进行比对，进一步判断业务数据是否为异常数据；当发现异常数据时，时序数据分析系统3根据异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至实时风控规则引擎4。

请参考图3，本实施例还提供一种自主学习的业务风险评估方法，包括以下步骤：

S1、业务系统收到外部请求后，将记录所述请求的日志数据发送至业务数据fanout组件1，业务数据fanout组件1将所述日志数据进行镜像复制，分别发送给时序数据存储系统2以及实时风控规则引擎4；

S2、时序数据存储系统2以时序形式将所述日志数据存储为时序业务数据；具体地，所述时序业务数据包括业务场景标签及时间戳，所述业务场景标签包括若干关键字及对应的特征值，所述时序业务数据的存储格式如下：

业务场景标签{key：value，key：value}时间戳例如，对于电商业务，某些购物的日志数据可以存储为：

‘下单场景’{‘user_id’:‘小明’,‘goods’:‘洗衣机’,‘price’:500}

2019-11-01-09-50-12

‘下单场景’{‘user_id’:‘小白’,‘goods’:‘毛巾’,‘price’:50}

2019-11-01-09-51-03

S3、时序数据分析系统3以固定的时间间隔对时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则，然后发送给实时风控规则引擎4；

具体地，步骤S3包括：

S31、时序数据分析系统3以固定的时间间隔，比如5分钟或10分钟，通过聚合统计分析模块33定时对时序业务数据执行聚合统计库32中的查询语句，得到聚合统计分析结果；其中，所述聚合统计库32中预先保存有特定的时序查询语句，比如：

select user_id order by sum(price)desc limit 5[30m]

//用于查询在过去30分钟之内，交易商品价格最高的5个用户select max(count(user_id))[1h]//用于查询在过去1小时内，下单次数最多的用户由上述时序查询语句可以得到满足条件的用户id。

S32、特征规则匹配模块34将所述聚合统计分析结果与预定义的特征规则进行比对，判断所述聚合统计分析结果对应的业务数据是否为异常数据；具体地，将步骤S31中得到的满足条件的用户id与以下规则进行比对：

过去1小时内，下单次数大于100次

过去30分钟内，登陆的设备变化次数大于5次当用户id符合特征规则时，判定所述用户id对应的业务数据为异常数据。

S33、当发现异常数据时，时序数据分析系统3根据所述异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至实时风控规则引擎4；具体地，所述动态防控规则包括表达式以及表达式成立时执行的操作，所述表达式的内容根据异常数据的关键字及特征值确定，所述操作根据异常数据对应的业务请求来确定，包括拒绝访问、阻断请求等；

优选地，在步骤S32中发现过去一小时内下单次数大于100次的用户，其用户id为123456，而根据业务逻辑判定，正常用户不可能在1小时内下单超过100次，因此认为存在恶意刷量的行为，抽象出一条动态防控规则：

{expression:‘user_id’＝＝‘123456’,action:‘reject’}

//当请求用户的id为123456时，服务端拒绝其请求

步骤S32中还发现过去30分钟内使用不同的客户端(电脑、浏览器、app等)变化次数大于5的用户，其用户id为abc、efd、xyz等，正常用户几乎不可能在半小时内使用超过5个不同的客户端进行登录操作，因此认为这些用户可能是机器人、爬虫等异常用户，抽象出另一条动态防控规则：

{expression:‘user_id in[abc,efd,xyz]’,action:‘block’}

//当请求用户的id为abc、efd、xyz之一时，服务端阻断其登录

S4、实时风控规则引擎4根据来自业务数据fanout组件1的日志数据，逐条执行预定义的防控规则以及由时序数据分析系统3生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统。

在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种自主学习的业务风险评估方法，基于一种自主学习的业务风控规则引擎系统实现，其特征在于，该系统包括业务数据fanout组件、时序数据存储系统、时序数据分析系统、以及实时风控规则引擎，其中：

所述业务数据fanout组件接收业务系统的日志数据，并将所述日志数据进行镜像复制，并分发给所述时序数据存储系统以及所述实时风控规则引擎；

所述时序数据存储系统以时序形式将来自所述业务数据fanout组件的日志数据存储为时序业务数据，所述时序数据分析系统以固定的时间间隔对所述时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则；

所述实时风控规则引擎根据来自所述业务数据fanout组件的日志数据，逐条执行预定义的防控规则以及由所述时序数据分析系统生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统；

所述时序数据分析系统还包括定时模块、聚合统计库、聚合统计分析模块、以及特征规则匹配模块，其中：

所述定时模块用于设定所述时序数据分析系统进行数据分析的时间间隔；所述聚合统计库中预先保存有特定的时序查询语句，所述时序查询语句用于对业务数据进行统计分析；所述聚合统计分析模块通过执行所述聚合统计库中的时序查询语句，得到聚合统计分析结果；所述特征规则匹配模块将所述聚合统计分析结果与预定义的特征规则进行比对，进一步判断业务数据是否为异常数据；

当发现异常数据时，所述时序数据分析系统根据异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至所述实时风控规则引擎；

该方法包括以下步骤：

S1、业务系统收到外部请求后，将记录所述请求的日志数据发送至业务数据fanout组件，所述业务数据fanout组件将所述日志数据进行镜像复制，分别发送给时序数据存储系统以及实时风控规则引擎；

S2、所述时序数据存储系统以时序形式将所述日志数据存储为时序业务数据；

S3、时序数据分析系统以固定的时间间隔对所述时序业务数据进行统计分析，找出异常数据的特征值，并将所述特征值抽象成为动态防控规则；

S31、时序数据分析系统以固定的时间间隔，通过聚合统计分析模块定时对时序业务数据执行聚合统计库中的查询语句，得到聚合统计分析结果；

S32、特征规则匹配模块将所述聚合统计分析结果与预定义的特征规则进行比对，判断所述聚合统计分析结果对应的业务数据是否为异常数据；

S33、当发现异常数据时，时序数据分析系统根据所述异常数据的特征值生成若干条动态防控规则，并将所述动态防控规则发送至实时风控规则引擎；

S4、实时风控规则引擎根据来自所述业务数据fanout组件的日志数据，逐条执行预定义的防控规则以及由所述时序数据分析系统生成的动态防控规则，并将执行得到的风险评估结果返回给业务系统；

所述时序业务数据包括业务场景标签以及时间戳，所述业务场景标签包括若干关键字及对应的特征值；

所述动态防控规则包括表达式以及所述表达式成立时执行的操作，所述表达式的内容根据异常数据的关键字及特征值确定，所述操作根据异常数据对应的业务请求来确定，包括拒绝访问、阻断请求。