CN108062639A - 一种风险传播模型及适用于该模型的算法 - Google Patents

一种风险传播模型及适用于该模型的算法 Download PDF

Info

Publication number
CN108062639A
CN108062639A CN201810155179.6A CN201810155179A CN108062639A CN 108062639 A CN108062639 A CN 108062639A CN 201810155179 A CN201810155179 A CN 201810155179A CN 108062639 A CN108062639 A CN 108062639A
Authority
CN
China
Prior art keywords
risk
data
big data
computing module
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810155179.6A
Other languages
English (en)
Inventor
王宝财
李勇
吕耀中
闫威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Fire Eye Credit Management Co Ltd
Original Assignee
Dalian Fire Eye Credit Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Fire Eye Credit Management Co Ltd filed Critical Dalian Fire Eye Credit Management Co Ltd
Priority to CN201810155179.6A priority Critical patent/CN108062639A/zh
Publication of CN108062639A publication Critical patent/CN108062639A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种风险传播模型及适用于该模型的算法，所述风险传播模型包括消息队列中间件、流处理单元、大数据存储模块、大数据图计算模块、风险模型计算模块和图数据库。通过本发明所述风险传播模型及算法，解决了当信贷、个人信用、公司经营情况、法人状况等各外围因素发展风险变化时，对与之相关联及间接关联的实体所受到的影响进行量化评估的问题，结合具体实际问题能够得到可解释的各个实体的风险状态，便于评估各个实体的实际风险。

Description

一种风险传播模型及适用于该模型的算法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种与风险传播相关的数据处理模型及算法。
背景技术
目前广泛应用的企业风险评估模型，都是以企业的财务报表作为评估的基础数据，通过这些可信的财务基础数据，由风控模型计算出企业的经营情况。但在面向企业的金融服务过程中，金融机构还要面对很多企业风险评估中的隐性风险。而建立一种面向企业经营的风险预警模型，来协助金融机构对企业进行信用管理和授信决策已十分必要。
发明内容
本发明要解决的技术问题是提供了一种风险传播模型及算法，通过该模型及算法将企业或个人存在的隐性风险点进行显性和具体的量化，从而达到评估和预警其金融风险的目的。
本发明的技术方案是这样实现的：
一种风险传播算法，该算法适用于一种风险传播模型，所述风险传播模型包括消息队列中间件、流处理单元、大数据存储模块、大数据图计算模块、风险模型计算模块和图数据库；所述风险传播算法包括以下步骤：
S1，消息队列中间件接收原始数据并存入消息队列中；
S2，由流处理单元处理消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
S3，由大数据图计算模块，计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
S4，由风险模型计算模块计算风险传播中各节点的风险指数，对各节点风险进行量化；
S5，由图数据库存储S4的结果数据及其附属数据，并作为最终结果展示的数据源。
较佳的，所述S2中流处理单元的数据处理是对原数据的ETL操作，ETL操作包含对不正确数据的识别、补充、合并。
较佳的，所述大数据存储模块选用具有分布式特性的HDFS存储作为离线存储。
较佳的，所述大数据图计算模块选用spark graphX分布式图处理框架。
较佳的，所述图数据库选用Neo4J图形数据库。
一种风险传播模型，包括：
消息队列中间件，用于接收原始数据，并将接收到的数据存入消息队列中；
流处理单元，用于处理存在于消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
大数据存储模块，用于数据落地存储及历史数据的保存；
大数据图计算模块，用于计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
风险模型计算模块，用于计算风险传播中各节点的风险指数，对各节点风险进行量化；
图数据库，用于存储结果数据及附属数据，是最终结果展示的数据源。
较佳的，所述大数据存储模块选用具有分布式特性的HDFS存储作为离线存储。
较佳的，所述大数据图计算模块选用spark graphX分布式图处理框架。
较佳的，所述图数据库选用Neo4J图形数据库。
本发明的有益效果在于：
1.通过本发明所述风险传播模型，不仅能够解决企业关系类的图谱，也可以对制定环境的子图谱作分析，比如企业/个人担保图谱对于不同的担保金额可以使用不同的权重(为担保金额均值，x为本次担保金额)即可。
2.通过本发明所述风险传播模型，解决了当信贷、个人信用、公司经营情况、法人状况等各外围因素发展风险变化时，对与之相关联及间接关联的实体所受到的影响进行量化评估的问题，结合具体实际问题能够得到可解释的各个实体的风险状态，便于评估各个实体的实际风险。
附图说明
附图1为本发明所述模型及算法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详述：
如附图1所示，一种风险传播算法，该算法适用于一种风险传播模型，所述风险传播模型包括消息队列中间件、流处理单元、大数据存储模块、大数据图计算模块、风险模型计算模块和图数据库；所述风险传播算法包括以下步骤：
S1，消息队列中间件接收原始数据并存入消息队列中；
S2，由流处理单元处理消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
S3，由大数据图计算模块，计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
S4，由风险模型计算模块计算风险传播中各节点的风险指数，对各节点风险进行量化；
S5，由图数据库存储S4的结果数据及其附属数据，并作为最终结果展示的数据源。
本实施例中风险传播算法的具体应用场景如下：
在一张关系图中，有一些已经明确的风险的节点，这些节点就是风险源的起始点，与这些节点有关联的节点就是受传染的对象，节点间链接的属性不同受传染的程度也不同，当一个节点受到多方传染时定义风险合并逻辑，此处采用风险叠加但是对叠加结果设置上限，保证风险结果的合理性，收到传染的节点继续向下传播，但不会反向传播，防止出现死循环，最后的终止条件可以以风险降低到某个限定值，也可以以传播次数达到某个限定值。
以企业关系图谱为例：企业之间存在着资金往来、法人、投资、担保、原材料上下游、同地域等关系，通过这些关系能建立起一张企业关系图谱，通过各渠道(工商、银行、法院等)收集的信息能够给一些企业设定初始的风险值r(0为安全，1为最高风险)，例如企业破产则初始值为1，企业负债高于资产较高则设定一个比较高的值，企业近期利润持续降低则给一个相对较低的值，如企业发生特殊事故、事件，则根据实际情况给一个相应的分值。有了原始数据，下面开始进行传播，对于不同关系类型设定不同的权重w，一般来说资金往来、法人、投资的权重要相对高一些，地域、相同经营种类等权重要相对低一些，r*w则是节点受到影响的风险值，同一个节点可能得到多个r*w，则它的风险值为Σri*wi，为了合理性限制其结果为[0,1]即MIN(Σri*wi,1)。由于三层以外的两个企业之间所能产生的影响已经微乎其微了，所以这里设置风险只能传播三层即停止。对于企业之间的关系都是单向的关系，但是在风险传播是可以认定为可以双向传播。例如企业A投资企业B。A与B是由一个有方向的关系链接起来的，但是当A出现风险时，B会受到影响，而当B出现风险时A也是会受到影响的，所以虽然关系时有方向的，但是风险是没有方向的，是可以反向传播的。
通过上面操作就可以把一些隐性风险点量化为具体的风险值，从而达到评估节点风险程度的目的。
具体计算方式：采用Spark graphX的pregel计算框架，此计算框架实现了图关系的导入及建立，提供了方便操作图的工具，方便采用遍历图的方式实现风险传播模型的算法逻辑。一、实现vertexProgram方法，此方法是初始化方法，由于本模型的原始数据本身就包含初始风险值及合并风险值，所以此方法下只要把没有初始值或为null等非法值，重置成0；对于合并风险值，即MIN(Σri,1)。二、实现sendMessage方法，此方法是实现向外传播风险值的方法。则向外传播的风险值ri＝r*wi(r为该节点的风险值，wi为与ri节点关系类型所对应的权重值)。三、实现messageCombiner方法，此方法是合并该节点接收到的所有风险值。根据前边的论述此处使用Σri来更新本节点的风险值。四、最后在调用pregel时设定传播方向为双向传播，传播次数为三次即实现此算法。
如附图1所示，一种风险传播模型，包括：
消息队列中间件，用于接收原始数据，并将接收到的数据存入消息队列中；
流处理单元，用于处理存在于消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
大数据存储模块，用于数据落地存储及历史数据的保存；
大数据图计算模块，用于计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
风险模型计算模块，用于计算风险传播中各节点的风险指数，对各节点风险进行量化；
图数据库，用于存储结果数据及附属数据，是最终结果展示的数据源。
在具体实施例中可以接入各种类型的数据，只需开发对应接口，原始数据可以通过JSON、CSV、数据库等方式把数据传输到消息队列中间件中，本实施例具体选用的是kafka作为消息队列中间件。在使用流处理方式处理存在于消息队列中的数据时，本实施例具体选用spark streaming来实现这步操作。处理过程包括对原数据的ETL操作及结果数据的存储。ETL操作包含对不正确数据的识别、补充、合并，存储介质选用具有分布式特性的HDFS存储作为离线存储，同时把结果传送给图计算程序，图计算模块选用spark graphX。图计算的结果反馈到图数据库，供其他应用使用。本实施例中图数据库选用Neo4j。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种风险传播算法，其特征在于：该算法适用于一种风险传播模型，所述风险传播模型包括消息队列中间件、流处理单元、大数据存储模块、大数据图计算模块、风险模型计算模块和图数据库；所述风险传播算法包括以下步骤：
S1，消息队列中间件接收原始数据并存入消息队列中；
S2，由流处理单元处理消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
S3，由大数据图计算模块，计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
S4，由风险模型计算模块计算风险传播中各节点的风险指数，对各节点风险进行量化；
S5，由图数据库存储S4的结果数据及其附属数据，并作为最终结果展示的数据源。
2.根据权利要求1所述的计算方法，其特征在于：所述S2中流处理单元的数据处理是对原数据的ETL操作，ETL操作包含对不正确数据的识别、补充、合并。
3.根据权利要求1所述的计算方法，其特征在于：所述大数据存储模块选用具有分布式特性的HDFS存储作为离线存储。
4.根据权利要求1所述的计算方法，其特征在于：所述大数据图计算模块选用sparkgraphX分布式图处理框架。
5.根据权利要求1所述的计算方法，其特征在于：所述图数据库选用Neo4J图形数据库。
6.一种风险传播模型，其特征在于，包括：
消息队列中间件，用于接收原始数据，并将接收到的数据存入消息队列中；
流处理单元，用于处理存在于消息队列中的数据，并将处理结果同时传送给大数据图计算模块和大数据存储模块；
大数据存储模块，用于数据落地存储及历史数据的保存；
大数据图计算模块，用于计算流处理单元传来的处理结果或从大数据存储模块中获取的数据，并将计算结果传送到风险模型计算模块；
风险模型计算模块，用于计算风险传播中各节点的风险指数，对各节点风险进行量化；
图数据库，用于存储结果数据及附属数据，是最终结果展示的数据源。
7.根据权利要求6所述的风险传播模型，其特征在于：所述大数据存储模块选用具有分布式特性的HDFS存储作为离线存储。
8.根据权利要求1所述的风险传播模型，其特征在于：所述大数据图计算模块选用spark graphX分布式图处理框架。
9.根据权利要求1所述的风险传播模型，其特征在于：所述图数据库选用Neo4J图形数据库。
CN201810155179.6A 2018-02-23 2018-02-23 一种风险传播模型及适用于该模型的算法 Pending CN108062639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810155179.6A CN108062639A (zh) 2018-02-23 2018-02-23 一种风险传播模型及适用于该模型的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810155179.6A CN108062639A (zh) 2018-02-23 2018-02-23 一种风险传播模型及适用于该模型的算法

Publications (1)

Publication Number Publication Date
CN108062639A true CN108062639A (zh) 2018-05-22

Family

ID=62134404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810155179.6A Pending CN108062639A (zh) 2018-02-23 2018-02-23 一种风险传播模型及适用于该模型的算法

Country Status (1)

Country Link
CN (1) CN108062639A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918389A (zh) * 2019-03-13 2019-06-21 试金石信用服务有限公司 基于消息流和图数据库的数据风控方法、装置及存储介质
CN111401722A (zh) * 2020-03-11 2020-07-10 第四范式（北京）技术有限公司 智能决策方法和智能决策系统
CN111754340A (zh) * 2020-07-03 2020-10-09 交通银行股份有限公司 一种基于图数据库的担保网络风险排查系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216899A (zh) * 2013-05-31 2014-12-17 济南观澜数据技术有限公司 面向带有描述信息的海量非结构化数据分布式处理架构
CN106156957A (zh) * 2016-08-30 2016-11-23 华迪计算机集团有限公司 一种基于权重的企业风险评估方法及系统
CN106920039A (zh) * 2017-02-16 2017-07-04 河南职业技术学院 一种税务风险管控系统
CN107239882A (zh) * 2017-05-10 2017-10-10 平安科技（深圳）有限公司 风险评估方法、装置、计算机设备及存储介质
CN107609784A (zh) * 2017-09-25 2018-01-19 四川长虹电器股份有限公司 利用大数据量化分析外汇投资风险的系统及方法
CN107665252A (zh) * 2017-09-27 2018-02-06 深圳证券信息有限公司 一种创建知识图谱的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216899A (zh) * 2013-05-31 2014-12-17 济南观澜数据技术有限公司 面向带有描述信息的海量非结构化数据分布式处理架构
CN106156957A (zh) * 2016-08-30 2016-11-23 华迪计算机集团有限公司 一种基于权重的企业风险评估方法及系统
CN106920039A (zh) * 2017-02-16 2017-07-04 河南职业技术学院 一种税务风险管控系统
CN107239882A (zh) * 2017-05-10 2017-10-10 平安科技（深圳）有限公司 风险评估方法、装置、计算机设备及存储介质
CN107609784A (zh) * 2017-09-25 2018-01-19 四川长虹电器股份有限公司 利用大数据量化分析外汇投资风险的系统及方法
CN107665252A (zh) * 2017-09-27 2018-02-06 深圳证券信息有限公司 一种创建知识图谱的方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918389A (zh) * 2019-03-13 2019-06-21 试金石信用服务有限公司 基于消息流和图数据库的数据风控方法、装置及存储介质
CN109918389B (zh) * 2019-03-13 2023-08-01 中移动信息技术有限公司 基于消息流和图数据库的数据风控方法、装置及存储介质
CN111401722A (zh) * 2020-03-11 2020-07-10 第四范式（北京）技术有限公司 智能决策方法和智能决策系统
CN111401722B (zh) * 2020-03-11 2023-10-17 第四范式（北京）技术有限公司 智能决策方法和智能决策系统
CN111754340A (zh) * 2020-07-03 2020-10-09 交通银行股份有限公司 一种基于图数据库的担保网络风险排查系统
CN111754340B (zh) * 2020-07-03 2022-06-21 交通银行股份有限公司 一种基于图数据库的担保网络风险排查系统

Similar Documents

Publication Publication Date Title
CA2572393C (en) System and method for processing composite trading orders
CN110309840A (zh) 风险交易识别方法、装置、服务器及存储介质
CN108228706A (zh) 用于识别异常交易社团的方法和装置
CN106952159B (zh) 一种不动产抵押品风险控制方法、系统及存储介质
CN108062639A (zh) 一种风险传播模型及适用于该模型的算法
CN110175850A (zh) 一种交易信息的处理方法及装置
CN108898476A (zh) 一种贷款客户信用评分方法和装置
CA2988056A1 (en) System and method for processing composite trading orders at a client
CN107481004A (zh) 交易风险防范系统及方法
CN110675029A (zh) 商户的动态管控方法、装置、服务器及可读存储介质
CN109816272A (zh) 受限信息条件下科技型上市企业财务风险预警方法
US20230041927A1 (en) Combined commodity mining method based on knowledge graph rule embedding
CN106952190A (zh) 虚假房源录入行为识别与预警系统
CN110135701A (zh) 控制规则的自动生成方法、装置、电子设备及可读介质
CN110097455A (zh) 银行客户优化配置方法及装置
CN104009993B (zh) 一种基于模糊过滤的信任评估方法
CN108229750A (zh) 一种股票收益率预测方法
CN112633584A (zh) 基于改进的LSTM-seq2seq模型的河流突发水污染事故水质预测方法
CN110335075A (zh) 适于消费金融的智能营销系统及其工作方法
CN114170002A (zh) 一种访问频次的预测方法及装置
León-Castro et al. A new measure of volatility using induced heavy moving averages
CN111932106B (zh) 一种有效实用的云制造任务与服务资源匹配方法
US20090125349A1 (en) Global conduct score and attribute data utilization
CN113610521A (zh) 用于检测行为数据的异常的方法和设备
CN107292602A (zh) 一种避免利息损失的转账方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522