CN110298601A - 一种基于规则引擎的实时业务风控系统 - Google Patents
一种基于规则引擎的实时业务风控系统 Download PDFInfo
- Publication number
- CN110298601A CN110298601A CN201910603442.8A CN201910603442A CN110298601A CN 110298601 A CN110298601 A CN 110298601A CN 201910603442 A CN201910603442 A CN 201910603442A CN 110298601 A CN110298601 A CN 110298601A
- Authority
- CN
- China
- Prior art keywords
- air control
- rule
- data
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000007726 management method Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 230000009897 systematic effect Effects 0.000 claims abstract description 4
- 238000003860 storage Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 10
- 238000011156 evaluation Methods 0.000 abstract description 10
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 13
- 239000000243 solution Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000012512 characterization method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013278 delphi method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002898 library design Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于规则引擎的实时业务风控系统，包括：数据存储系统：包含关系型数据库和非关系型数据库，关系型数据库用于存储格式化数据，非关系型数据库用于存储需要频繁更新的数据；计算集群：包括实时计算集群和离线计算集群，离线计算集群用于周期性执行的任务；规则引擎：包括事实集、规则组和推理引擎，管理平台：用于作为风控系统的应用层，本发明提出动态性阈值设计体系，减少黑产绕过风控阈值的可能，在构建实时风控系统的规则引擎时加入了规则组，实现对规则匹配的优化，增加了实时风控系统的效率。在管理平台模块加入了基于指标和基于模型的风控规则评价机制，保障了风控规则的有效性被实时追踪。
Description
技术领域
本发明涉及一种风控系统，具体是一种基于规则引擎的实时业务风控系统。
背景技术
随着互联网金融的快速发展，线上支付及其应用逐渐普及，给人们的生活带来了便利。同时，从中牟利的网络黑产的规模也逐渐扩大，带来了交易高风险、信息泄露、欺诈事件增加等现象。企业构建起风控系统，设置风险阈值，进行风险识别、风险评级、风险规避，以保证正常用户的业务平稳开展。但随着业务场景的日益增加和复杂化，基于业务安全领域的防护和黑产的对决愈演愈烈。借助于黑色产业链的日趋完善和发达，黑产不断通过伪基站等方式频繁访问，探测其中的业务漏洞，加以利用、变现。此类漏洞攻击通常是伪装成正常用户进行批量操作，恶意侵占企业资源，但相比于注入漏洞更难被检测到。
发明内容
本发明的目的在于提供一种基于规则引擎的实时业务风控系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于规则引擎的实时业务风控系统，包括：
数据存储系统：包含关系型数据库和非关系型数据库，关系型数据库用于存储格式化数据，非关系型数据库用于存储需要频繁更新的数据；
计算集群：包括实时计算集群和离线计算集群，实时计算集群用于实时风控所需的预计算，离线计算集群用于周期性执行的任务；
规则引擎：包括事实集、规则组和推理引擎，数据存储系统中接入的风控请求数据通过计算集群之后，装配成由类的实例构成的事实集；
管理平台：用于作为风控系统的应用层；
数据存储系统、计算集群、规则引擎和管理平台依次相连，管理平台还连接规则库，规则库与规则组相连接。
作为本发明的进一步技术方案：所述格式化数据包括用于离线分析的会员属性数据和历史订单数据。
作为本发明的进一步技术方案：所述非关系型数据包括实时风控请求数据和设备指纹数据。
作为本发明的进一步技术方案：所述实时计算集群需要借助统计方法，得到所需维度的统计值。
作为本发明的进一步技术方案：所述离线计算集群的周期时间至少为一天，用于满足非实时的大数据分析和模型训练的需求，将原始的风控数据在计算层进行计算处理，形成各个维度的特征数据。
作为本发明的进一步技术方案：所述管理平台封装为前端web界面，以方便业务人员进行规则配置。
作为本发明的进一步技术方案：所述各个维度的特征数据包括频次统计、最大统计和最近统计。
与现有技术相比，本发明的有益效果是：本发明提出动态性阈值设计体系，减少黑产绕过风控阈值的可能，在构建实时风控系统的规则引擎时加入了规则组，实现对规则匹配的优化，增加了实时风控系统的效率。在管理平台模块加入了基于指标和基于模型的风控规则评价机制，保障了风控规则的有效性被实时追踪。
附图说明
图1为基于规则引擎的实时业务风控系统。
图2为特征库设计示意图。
图3为规则评价机制示意图。
图4为用户风险评级模型的实施流程图。
图5为MHH预测下一时间点的动态阈值示意图。
图6为基于图模型的一个示例场景的Schema设计示意图。
图7为正常用户的关系模式和黑产团伙的关系模式图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1-7，一种基于规则引擎的实时业务风控系统，包括：
数据存储系统：包含关系型数据库和非关系型数据库。格式化数据存储于关系型数据库，例如：用于离线分析的会员属性数据、历史订单数据等；非关系型数据库用于存储需要频繁更新的数据，例如：实时风控请求数据、设备指纹数据。在构建一个风控系统之前，需要根据企业的业务场景确定数据来源，通常需要解决跨业务系统的数据接入问题。在关键业务节点，需要设置业务埋点、SDK数据采集等配合，实现对风控事件的实时追踪，并将实时数据接入到数据存储模块中；
计算集群：包括实时计算集群和离线计算集群，实时计算集群用于实时风控所需的预计算，为后续的规则判断而准备。通常需要借助统计方法，得到所需维度的统计值，例如：近10分钟某ip出现的账号个数。离线计算集群用于周期性执行的任务，通常周期时间至少为一天。主要用于满足非实时的大数据分析和模型训练的需求，将原始的风控数据在计算层进行计算处理，形成各个维度的特征数据，例如：频次统计、最大统计、最近统计等；
规则引擎：包括事实集、规则组和推理引擎，数据存储系统中接入的风控请求数据通过计算集群之后，装配成由类的实例构成的事实集；规则库由规则构成，模拟判断准则。单条规则可以表示为：
IF:条件部分LHS(left-hand side),THEN:结论RHS(right-hand side).
其中，LHS包括一个或多个组合条件，单个条件原子之间通过AND(与)和OR(或)的逻辑关系进行组合。RHS为满足LHS中的条件后需要执行的动作，又称风控措施。当一个事实满足规则后对其执行风控措施，记为触发一次风控规则。由于业务场景的复杂性，规则库通常含有上百条规则逻辑，对规则引擎中的规则匹配阶段造成了较大的运算压力。下一节的规则引擎设计将详细阐述规则匹配优化和模式匹配的流程。
管理平台：用于作为风控系统的应用层，通常封装为前端web界面，此外，返回规则评价体系输出的结果，风控人员可基于评价结果改进目前的风控规则。评价体系包括：规则的触发情况、用户对风控措施(RHS)的反馈结果等，有助于现有风控规则的改进。具体的评价体系构建，在下一节的规则引擎设计中有详细阐述。
规则引擎由推理引擎、事实集、规则库组成。数据层的相关数据作为事实集，加载到工作内存中。规则库是相关业务人员和数据分析人员制定的风控规则文件集合。
(1)特征库设计
规则库中所需要的变量通过预处理，可存储为特征因子，提高变量复用率和规则的简洁度。特征库设计示意图如图2所示。
以风控系统中的两个规则定义为例：
Rule1.IF:无法获取到设备标识的账户两次登录间隔在3秒内,
THEN:设置风险分值为60。
Rule2.IF:无法获取到设备标识的账户1天内关联设备数超过15个,
THEN:设置风险分值为60。
在Rule1和Rule2的LHS都涉及了“无法获取到设备标识的账户”这一条件，可以抽象为布尔变量isDeviceID,赋值0为未获取到设备标识，1为可获取到。登录时间间隔可抽象为数值型变量。单个账户1天内去重的设备数可抽象为整数型变量。此类抽象变量即为特征因子。在制定规则时可以直接使用事先定义、预处理的特征因子。
根据全域风控需求，特征库中的特征因子分为用户特征因子和全局特征因子。用户特征因子以账户为主键，聚合用户维度的特征数据。得到的数据是反应用户维度的交易、登录、设备等特征。全局特征因子是从全局数据中抽象所需要的其他维度进行组合、计算，例如：同一ip地址的登录请求。常用的全局特征因子包括：异常IP地址、异常设备型号。LSH中的条件就可以转化为对特征因子的数值进行判断。
此外，由于商业规则和业务场景不断变化，规则经常需要根据实际变化做出频繁调整。业务人员在前端的特征管理界面，对特征库中的特征因子进行增删改查的操作，不直接对规则库进行频繁变更，避免了特征因子的重复开发。因此，特征因子的存储具有稳定性、聚合性和可复用性。
(2)规则匹配优化
在规则的模式匹配中，使用Rate算法提升匹配效率，减少了重复计算造成的时间冗余性。在规则数量和事实样本较多时，每条事实数据都需要与Rete网络中的Aplha节点相匹配。大多数规则所含的条件原子相同，即存在被多个规则同时包含的条件原子，依次与每个Alpha节点匹配就存在了一定时间浪费。因此，一个预匹配模块，将多条规则聚合成少量的规则组。通过规则组筛选，在预匹配阶段过滤掉部分正常数据，减少事实和节点的匹配次数。实现逻辑是将含有多个相同条件原子的规则划分到同一规则组中，规则组中出现次数最多的条件原子作为该规则组的特征条件。全量数据通过预匹配模块中规则组的筛选，即可过滤掉部分数据，对剩余样本执行所在规则组内的规则判断。
依旧沿用章节(1)中的两个规则为例，假设只含有两个规则。首先将其抽象成如下的形式：
R1.IF:a&b,THEN:m
R2.IF:a&c,THEN:n
上述规则R1，R2都含有条件原子a，即可划分到同一规则组。条件原子a出现的频次最高，因此该规则组的特征条件即为a。全量数据通过条件a筛选，通过则进入该规则组。
对于多条规则的规则组划分，需要首先构建一个键值对，存储所有条件原子和该条件在所有规则中出现的次数。遍历所有规则，如果规则Rn中LHS的任一条件和现有规则组Ck的特征条件相同，则将Rn加入该规则组Ck。如果不存在规则组的特征条件能与Rn中的任一条件相匹配，则创建一个新的规则组Ck+1，并将Rn中出现频次最高的条件原子作为该规则组的特征条件。最终，由所有规则组的特征条件集合，创建成了预匹配规则。
也可以从业务角度设计规则组，按照不同的业务线划分规则所属的规则组。但系统的响应速度容易受到业务场景的影响。
规则评价机制
有效的风控规则体系包括识别风险用户，以及实时的风险拦截措施，防患于未然。同时，风险措施将直接作用于产品终端，影响到用户体验。因此，基于业务的风控系统需要将风险的误报率和漏报率降低到可接受的范围内，提升产品终端的用户体验。例如：误报率不能超过5％，准确率不能低于95％，否则会造成大批用户投诉或者大量风险用户被遗漏。本系统基于规则触发次数和风控反馈结果，构建了规则评价体系，以验证规则有效性，并有助于业务人员对风控规则进行监控和优化调整。规则评价机制的作用逻辑如图3所示。
规则评价机制根据两种数据来源进行，一是根据风控分值得到的触发次数分布；二是触发规则后对风控措施进行响应，所得到的最终请求结果。
a.规则命中准确率评价
规则引擎输出每条规则的触发次数，基于此计算查准率(p)和召回率(r)，如下：
p＝TP/(TP+FP)
r＝TP/(TP+FN)
其中，TP为触发规则但未通过验证的请求次数，以及来自黑名单中用户的请求；FP为触发规则中通过验证的请求次数；FN为未触发规则中来自黑名单用户的请求次数。查准率反应了该规则识别风险用户的准确率，召回率反应了规则能否识别出尽可能多的风险用户。结合查准率和召回率，业务人员可以对规则进行动态调整，保证风控系统的闭环和较长时间的可用性。当上述风险评价机制的性能指标超过了正常范围，系统或自动发送报警邮件，通知策略负责人员核实策略的准确性。
b.风控措施合理性评价
在章节(1)所示的规则样例中，RHS返回了风险分值，代表不同的风险级别。系统根据每次请求的返回分值，匹配滑动窗口验证、短信验证、禁止访问等实时风控措施。对于验证类措施，请求的验证结果有助于区分该请求是否来源于黑产群体的模拟用户。
本阈值体系主要解决了传统风控系统中阈值一刀切造成的弊端，以评分机制为基础，总共有三个模块。在专家阈值的基础上，增加了用户行为评分机制和时间序列评分机制，从用户、设备、时间三个维度增加阈值的动态调整部分。
(1)专家阈值
由于每日风控请求量都是海量的，首先利用专家阈值进行初步过滤，基于多维度指标的静态阈值对明显存在风险的账号和行为执行相应的风控措施。专家阈值是基于专家征询法(Delphi Method)对单个指标的阈值进行一一确定，具有客观性和代表性。
(2)基于用户特征的动态阈值
用户行为模型是基于用户行为，动态调整阈值的一种综合性方法。该模块的技术路径流程图如图4所示。具体分为以下三个步骤：
a.从特征库抽取用户行为数据，包括设备指纹、风控请求明细等特征，根据场景特征，选择聚类分析、随机森林等适应于不同场景的深度模型，输出多个场景的用户分类结果和风险分值。
b.构建用户的风险评级系统，根据指标重要性对多个模型结果进行整合计算，最终实现对各个群体分配不同的风险等级。
c.对不同的用户群体，针对性的部署不同等级的风控措施。在实时风控环节，将使用离线训练好的模型参数对样本进行实时计算，实现高可用的个性化实时智能风控。线上采用这样的浅度模型方式进行判断和匹配，不进行模型重训练，减少了运算压力且提高了效率。
离线特征工程来源于风控系统的离线特征库。深度模型用于离线环境下的模型训练，包含用于特征探索的非监督模型和用于风险概率预测的监督模型，输出结果为预测的风险概率。本系统根据6条业务线进行风控策略设计，因此需要考虑到不同业务之间风险识别的通用性，和使用时的可快速移植性。例如不同业务线，由于业务类型的不同，风险请求频次会有数量级上的差异。因此，分用户群体进行风险评级满足了以上跨业务系统进行统筹性的风险管理的需求。特征体系划分为以下五个维度的大类：
①用户行为特征：根据风控请求，设计规则为用户行为打标签。风险行为包括但不仅限于撞库、垃圾注册、盗号、会话窃取、扫号、暴力破解、异常登陆等。根据不同行业的业务特征，可以对行为类型的标签进行丰富。
②用户属性特征：根据用户在具体业务场景下的行为，定义用户画像类型的属性标签。例如，在电商行业场景中，会根据用户的消费行为定义用户画像标签；在电信行业场景中，则根据用户的套餐使用情况来定义。
③用户位置特征：根据IP信息可以获取到与以IP为主键的属性特征。例如，是否是IDC机房IP，通过同一IP访问的设备个数，IP地址，同一IP进行的风控请求。
④设备属性特征：以设备为主键构建相关指标。例如，通过openid关联的ip、账号、请求数量，通过浏览器id关联的ip、账号、请求数量，根据mac地址、useragent判断是否为模拟器、虚拟机等。
⑤利用外部情报：利用外部威胁情报供应商、反欺诈平台提供的黑名单构建信息库，作为风控平台的外部情报来源。
下面以设备属性维度为例，阐述属性类特征分值的实现过程。在离线特征工程阶段，利用定性和定量相结合的方法，计算特征向量。基于以下假设：正常用户的设备属性和黑产改造过的设备属性存在差异。该部分通过规则的逻辑判断即可实现，因此定性部分为将采集到的设备属性值和通用设备属性值进行比对，通过规则判断，初步判断出黑产利用设备改造神器进行伪造生成设备属性的行为。构建专属的属性库是业务风控系统中常用的工具之一，具有通用性。但属性库的完善和更新需要耗费大量人力成本，因此，需要与基于大数据分析和建模的定量方法相结合，提高风控系统的容错性和准确度。
规则分类模型所需要的样本标签，是基于定性的风控规则对样本进行标签标注，形成训练样本的分类标签。在分类模型的训练过程中，为了防止单次抽样抽取测试样本和训练样本，使得模型结果存在误差，采用K折交叉验证(K-Cross Validation)，重复进行K次训练，最终取性能指标的均值最佳的模型参数。
(3)基于时间序列的动态阈值
对于受到活动、假期等潜在因子影响较大的风控指标，例如：流量、销量等，本发明在现有的拦截规则基础上，引入时间维度，增加阈值的灵活性。既解决了阈值设定所损失的用户使用体验感——以弹出短信验证、滑动验证码的方式对用户发起风控验证；又能够实现阈值的动态调整——区分出业务高峰时段和非高峰时段，减少运维人员实时维护的工作量。考虑到指标值序列的时间连续性，本模块引入基于隐马尔科夫模型(HMM)，实现对异常指标的近实时识别。近实时的时间跨度由HMM训练数据的时间窗口的单位决定。
基于隐马尔科夫模型的异常指标识别具体实现步骤如下，如图5所示：
①从特征库中抽取风控请求明细数据，得到风控规则需要判断的观察值序列。考虑到HMM适用于短时间自相关性数据的预测，实例中均采取数值变化率作为观察值。
②从离线的隐马尔科夫模型数据库读取训练得到的模型参数。
其中步骤2的实现过程涉及了HMM的三个经典问题——评估问题、学习问题和解码问题。
首先，评估观察值序列的条件概率。在给定观察序列X＝{X1,X2,...,Xn}和参数λ＝(A,B,π)下，计算得到观测值在各个隐状态下的条件概率P(X|λ)。其中，P(X|λ)由隐状态和转移矩阵决定，计算公式如下：
aij,bij分别表示状态转移概率和给定隐状态下的观察值概率分布。从上式可以看出，模型参数λ确定后，根据条件概率公式即可求出所有隐状态的观测值概率。计算效率问题通过向前向后(Forward-backward)算法即可解决。
学习问题为模型的参数估计步骤。已知观测值序列，估计参数λ，使得观测序列的条件概率P(X|λ)最大。在仅有观测值序列，而隐状态序列未知时，可由无监督学习算法Baum-Welch算法得到。在观测值序列和隐状态序列都已知时，通过监督算法即可拟合得到。本发明在业务和算法之间进行最佳选择。结合业务情况，确定隐状态序列，而后进行监督算法的学习。具体而言，是以用户群体作为状态总体，将该时间点的用户群体占比大小作为其隐状态取值。此外，同时通过Baum-Welch算法进行学习。同样采用交叉验证进行模型选择，选择极大似然值更大的模型参数作为离线模型的结果。
解码问题实际为预测环节。寻找最优隐状态序列，使得观测序列按照最大极大似然概率对应的最佳隐状态进行划分。最终，在状态总集合中选择各个时间点最合适的状态取值，即为最佳的隐状态序列。由Viterbi算法实现。
③通过模式识别的方式，寻找当前观察值序列得到的模型对数似然值最相似的历史序列值。选取多个相似模式的历史序列，取加权平均，作为下一个时间点的预测值。当前观察值序列得到的模型对数似然值由解码问题中所述的Viterbi算法得到。
实施例2，在实施例1的基础上，为了更好的进行黑产群体的溯源分析，本发明引入了基于图的关系模型，通过图关系可视化在图1中的前端管理页面展示，反应出基于拦截用户的群体性特征和溯源变量，便于风控人员直接定义拦截用户的性质，并及时发现群体作案风险。
图6展示了订单场景下的图模型构建Schema。由于利用唯一设备进行单次订单的用户较多，直接利用全量数据进行图模型会占用太多资源，且不易区分单次用户是否为黑产频繁更换设备和账户进行操作的批量行为。因此，本文首先从拦截用户出发，对小群体进行图模型构建，寻找存在异常的子图。子图即可定位出黑产关联(例如，邀请、转增)或固定使用的变量取值(例如，在无需进行填写的字段存在相同的值)。探索异常子图关联的节点，并以相同的逻辑深入关联多层子图，即寻找深度过大的关系，即可溯源出整个黑产群体。图7右侧展示了实例中发现的黑产团伙的关系模式。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种基于规则引擎的实时业务风控系统，其特征在于，包括：
数据存储系统：包含关系型数据库和非关系型数据库，关系型数据库用于存储格式化数据，非关系型数据库用于存储需要频繁更新的数据；
计算集群：包括实时计算集群和离线计算集群，实时计算集群用于实时风控所需的预计算，离线计算集群用于周期性执行的任务；
规则引擎：包括事实集、规则组和推理引擎，数据存储系统中接入的风控请求数据通过计算集群之后，装配成由类的实例构成的事实集；
管理平台：用于作为风控系统的应用层；
数据存储系统、计算集群、规则引擎和管理平台依次相连，管理平台还连接规则库，规则库与规则组相连接。
2.根据权利要求1所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述格式化数据包括用于离线分析的会员属性数据和历史订单数据。
3.根据权利要求2所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述非关系型数据包括实时风控请求数据和设备指纹数据。
4.根据权利要求3所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述实时计算集群需要借助统计方法，得到所需维度的统计值。
5.根据权利要求4所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述离线计算集群的周期时间至少为一天，用于满足非实时的大数据分析和模型训练的需求，将原始的风控数据在计算层进行计算处理，形成各个维度的特征数据。
6.根据权利要求1所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述管理平台封装为前端web界面，以方便业务人员进行规则配置。
7.根据权利要求5所述的一种基于规则引擎的实时业务风控系统，其特征在于，所述各个维度的特征数据包括频次统计、最大统计和最近统计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603442.8A CN110298601A (zh) | 2019-07-05 | 2019-07-05 | 一种基于规则引擎的实时业务风控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603442.8A CN110298601A (zh) | 2019-07-05 | 2019-07-05 | 一种基于规则引擎的实时业务风控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298601A true CN110298601A (zh) | 2019-10-01 |
Family
ID=68030490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910603442.8A Pending CN110298601A (zh) | 2019-07-05 | 2019-07-05 | 一种基于规则引擎的实时业务风控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298601A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078757A (zh) * | 2019-12-19 | 2020-04-28 | 武汉极意网络科技有限公司 | 一种自主学习的业务风控规则引擎系统及风险评估方法 |
| CN111914014A (zh) * | 2020-08-17 | 2020-11-10 | 深圳市联恒星科技有限公司 | 一种大数据平台及其应用 |
| CN112463840A (zh) * | 2021-02-01 | 2021-03-09 | 杭州天谷信息科技有限公司 | 一种基于规则引擎的实时业务风控系统及方法 |
| CN112464620A (zh) * | 2020-09-23 | 2021-03-09 | 航天信息股份有限公司企业服务分公司 | 一种财务规则引擎的实现方法及实现系统 |
| CN112651506A (zh) * | 2020-12-24 | 2021-04-13 | 重庆大学 | 一种智能环境下基于边缘设备规则推理的数据预部署方法 |
| CN112700329A (zh) * | 2021-01-27 | 2021-04-23 | 永辉云金科技有限公司 | 一种风控规则引擎的响应方法和风控规则引擎 |
| CN112860398A (zh) * | 2021-02-02 | 2021-05-28 | 广州市网星信息技术有限公司 | 基于规则引擎的数据处理方法、装置、设备及介质 |
| CN113393246A (zh) * | 2021-06-29 | 2021-09-14 | 山东派盟网络科技有限公司 | 一种基于数据采集体系的支付平台风险识别方法和系统 |
| CN113449753A (zh) * | 2020-03-26 | 2021-09-28 | 中国电信股份有限公司 | 业务风险预测方法、装置和系统 |
| CN113610175A (zh) * | 2021-08-16 | 2021-11-05 | 上海冰鉴信息科技有限公司 | 一种业务策略生成方法、装置及计算机可读存储介质 |
| CN114219378A (zh) * | 2022-02-22 | 2022-03-22 | 武汉和悦数字科技有限公司 | 一种数字商品的风控方法及系统 |
| CN114331224A (zh) * | 2022-03-07 | 2022-04-12 | 深圳市光子跃动科技有限公司 | 一种基于规则引擎的实时业务风控处理方法及系统 |
| CN114693456A (zh) * | 2021-04-16 | 2022-07-01 | 上海矢隆信息科技有限公司 | 一种风控管理系统及其应用 |
| CN115374195A (zh) * | 2022-07-25 | 2022-11-22 | 北京数美时代科技有限公司 | 一种离线风控管理方法、系统、存储介质和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491885A (zh) * | 2017-08-25 | 2017-12-19 | 上海找钢网信息科技股份有限公司 | 一种用于钢贸金融业务的风控平台及风险控制管理方法 |
| CN109345380A (zh) * | 2018-11-19 | 2019-02-15 | 上海指旺信息科技有限公司 | 风险控制平台构建方法及系统 |
| CN109389486A (zh) * | 2018-08-27 | 2019-02-26 | 深圳壹账通智能科技有限公司 | 贷款风控规则调整方法、装置、设备及计算机存储介质 |
| CN109816390A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于交易数据的反欺诈分析处理方法、装置和计算机设备 |
-
2019
- 2019-07-05 CN CN201910603442.8A patent/CN110298601A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491885A (zh) * | 2017-08-25 | 2017-12-19 | 上海找钢网信息科技股份有限公司 | 一种用于钢贸金融业务的风控平台及风险控制管理方法 |
| CN109389486A (zh) * | 2018-08-27 | 2019-02-26 | 深圳壹账通智能科技有限公司 | 贷款风控规则调整方法、装置、设备及计算机存储介质 |
| CN109345380A (zh) * | 2018-11-19 | 2019-02-15 | 上海指旺信息科技有限公司 | 风险控制平台构建方法及系统 |
| CN109816390A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于交易数据的反欺诈分析处理方法、装置和计算机设备 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078757A (zh) * | 2019-12-19 | 2020-04-28 | 武汉极意网络科技有限公司 | 一种自主学习的业务风控规则引擎系统及风险评估方法 |
| CN111078757B (zh) * | 2019-12-19 | 2023-09-08 | 武汉极意网络科技有限公司 | 一种自主学习的业务风控规则引擎系统及风险评估方法 |
| CN113449753A (zh) * | 2020-03-26 | 2021-09-28 | 中国电信股份有限公司 | 业务风险预测方法、装置和系统 |
| CN113449753B (zh) * | 2020-03-26 | 2024-01-02 | 天翼云科技有限公司 | 业务风险预测方法、装置和系统 |
| CN111914014A (zh) * | 2020-08-17 | 2020-11-10 | 深圳市联恒星科技有限公司 | 一种大数据平台及其应用 |
| CN112464620A (zh) * | 2020-09-23 | 2021-03-09 | 航天信息股份有限公司企业服务分公司 | 一种财务规则引擎的实现方法及实现系统 |
| CN112651506A (zh) * | 2020-12-24 | 2021-04-13 | 重庆大学 | 一种智能环境下基于边缘设备规则推理的数据预部署方法 |
| CN112700329A (zh) * | 2021-01-27 | 2021-04-23 | 永辉云金科技有限公司 | 一种风控规则引擎的响应方法和风控规则引擎 |
| CN112463840A (zh) * | 2021-02-01 | 2021-03-09 | 杭州天谷信息科技有限公司 | 一种基于规则引擎的实时业务风控系统及方法 |
| CN112463840B (zh) * | 2021-02-01 | 2021-06-01 | 杭州天谷信息科技有限公司 | 一种基于规则引擎的实时业务风控系统及方法 |
| CN112860398A (zh) * | 2021-02-02 | 2021-05-28 | 广州市网星信息技术有限公司 | 基于规则引擎的数据处理方法、装置、设备及介质 |
| CN114693456A (zh) * | 2021-04-16 | 2022-07-01 | 上海矢隆信息科技有限公司 | 一种风控管理系统及其应用 |
| CN113393246A (zh) * | 2021-06-29 | 2021-09-14 | 山东派盟网络科技有限公司 | 一种基于数据采集体系的支付平台风险识别方法和系统 |
| CN113610175A (zh) * | 2021-08-16 | 2021-11-05 | 上海冰鉴信息科技有限公司 | 一种业务策略生成方法、装置及计算机可读存储介质 |
| CN114219378A (zh) * | 2022-02-22 | 2022-03-22 | 武汉和悦数字科技有限公司 | 一种数字商品的风控方法及系统 |
| CN114331224A (zh) * | 2022-03-07 | 2022-04-12 | 深圳市光子跃动科技有限公司 | 一种基于规则引擎的实时业务风控处理方法及系统 |
| CN115374195A (zh) * | 2022-07-25 | 2022-11-22 | 北京数美时代科技有限公司 | 一种离线风控管理方法、系统、存储介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298601A (zh) | 一种基于规则引擎的实时业务风控系统 | |
| Capozzoli et al. | Fault detection analysis using data mining techniques for a cluster of smart office buildings | |
| CN112668944A (zh) | 一种基于大数据征信的企业风控方法、装置、设备及介质 | |
| CN110111198A (zh) | 用户金融风险预估方法、装置、电子设备及可读介质 | |
| CN109543901A (zh) | 基于信息融合卷积神经网络模型的短期电力负荷预测方法 | |
| CN106951984A (zh) | 一种系统健康度动态分析预测方法及装置 | |
| CN103825755A (zh) | 电力二次系统的建模方法与系统 | |
| CN109800995A (zh) | 一种电网设备故障识别方法及系统 | |
| CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
| CN119693111A (zh) | 基于人工智能的金融交易异常检测与风险评估方法及装置 | |
| Gökçe et al. | Performance comparison of simple regression, random forest and XGBoost algorithms for forecasting electricity demand | |
| CN112257914B (zh) | 一种基于随机森林的航空安全因果预测方法 | |
| Nastro et al. | A machine learning approach based on neural networks for energy diagnosis of telecommunication sites | |
| Sharma et al. | Anomaly detection in smart grid using optimized extreme gradient boosting with SCADA system | |
| Babaali et al. | Weighted ensemble learning for real‐time short‐term voltage stability assessment with phasor measurements data | |
| CN119558645A (zh) | 潜在风险数据的筛选方法、装置、电子设备及存储介质 | |
| CN107818523B (zh) | 基于非稳定频率分布与频率因子学习的电力通信系统数据真值判别与推断方法 | |
| Lee et al. | Wind power pattern forecasting based on projected clustering and classification methods | |
| Alsina et al. | A neural network approach to find the cumulative failure distribution: Modeling and experimental evidence | |
| CN119396993A (zh) | 一种基于知识图谱的电力电网运维部署方法及系统 | |
| Wang et al. | LSTM-based alarm prediction in the mobile communication network | |
| Wei et al. | A new BRB model for cloud security-state prediction based on the large-scale monitoring data | |
| Li et al. | An Intuitionistic Fuzzy Stochastic Decision‐Making Method Based on Case‐Based Reasoning and Prospect Theory | |
| CN110415136B (zh) | 一种电力调度自动化系统服务能力评估系统与方法 | |
| Daraghmi et al. | Accurate and time‐efficient negative binomial linear model for electric load forecasting in IoE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |