CN111080178A - 一种风险监控方法和装置 - Google Patents
一种风险监控方法和装置 Download PDFInfo
- Publication number
- CN111080178A CN111080178A CN202010075022.XA CN202010075022A CN111080178A CN 111080178 A CN111080178 A CN 111080178A CN 202010075022 A CN202010075022 A CN 202010075022A CN 111080178 A CN111080178 A CN 111080178A
- Authority
- CN
- China
- Prior art keywords
- organization
- node
- graph
- constructing
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 230000008520 organization Effects 0.000 claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000010801 machine learning Methods 0.000 claims abstract description 29
- 230000002776 aggregation Effects 0.000 claims description 24
- 238000004220 aggregation Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种风险监控方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；采用所述知识图谱训练机器学习模型，得到风险计算模型；根据所述风险计算模型，计算目标组织的风险值。该实施方式能够解决风险监控不准确的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种风险监控方法和装置。
背景技术
传统数据分析仅仅将客户作为一个独立的个体进行研究，忽略了个体社会属性，带来客户认知的片面性。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有的风险监控方法以数据分析的手段，统计关键组织(比如企业、公司等)的问题指标，然后使用指标进行全量扫描，从而匹配寻找类似组织。由于对客户认知存在片面性，导致匹配结果不准确，也难以准确、高效地监控各个客户的风险值。
发明内容
有鉴于此，本发明实施例提供一种风险监控方法和装置，以解决风险监控不准确的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种风险监控方法，包括：
根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；
采用所述知识图谱训练机器学习模型，得到风险计算模型；
根据所述风险计算模型，计算目标组织的风险值。
可选地，根据对象数据构建知识图谱，包括：
从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；
采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱。
可选地，采用所述知识图谱训练机器学习模型，得到风险计算模型，包括：
拉取所述知识图谱中各个组织节点的基础特征；
根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；
采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。
可选地，根据所述各个组织节点对应的基础特征，构建网络结构特征，包括：
根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；
根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，计算所述组织关系网络图的指标，从而得到网络结构特征。
可选地，根据所述各个组织节点对应的基础特征，构建聚合特征，包括：
对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
可选地，所述机器学习模型为LightGBM模型。
另外，根据本发明实施例的另一个方面，提供了一种风险监控装置，包括：
构建模块，用于根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；
训练模块，用于采用所述知识图谱训练机器学习模型，得到风险计算模型；
计算模块，用于根据所述风险计算模型，计算目标组织的风险值。
可选地，所述构建模块还用于：
从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；
采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱。
可选地，所述训练模块还用于：
拉取所述知识图谱中各个组织节点的基础特征；
根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；
采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。
可选地，所述训练模块还用于：
根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；
根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，计算所述组织关系网络图的指标，从而得到网络结构特征。
可选地，所述训练模块还用于：
对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
可选地，所述机器学习模型为LightGBM模型。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用根据对象数据构建知识图谱，训练机器学习模型，得到风险计算模型，从而计算目标组织的风险值的技术手段，所以克服了现有技术中风险监控不准确的技术问题。本发明实施例通过构建知识图谱，能够更好地识别个人、组织和对象之间的关系，并通过量化关系，准确地衡量个人和组织拥有的社会资本和信用水平等。本发明实施例能够解决个体局限性，基于个人、组织和对象之间的关系计算组织的风险值，从而准确地监控各个组织的风险情况。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的风险监控方法的主要流程的示意图；
图2是根据本发明实施例的知识图谱的示意图；
图3是根据本发明实施例的构建知识图谱的流程示意图；
图4是根据本发明实施例的组织关系网络图的示意图；
图5是根据本发明实施例的风险监控装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例通过建立全规模的个人与个人之间，个人与企业之间，企业与企业之间的节点关系得到知识图谱，然后基于知识图谱训练机器学习模型，最后根据训练得到的风险计算模型对各个用户进行风险监控。
图1是根据本发明实施例的风险监控方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述风险监控方法可以包括：
步骤101，根据对象数据构建知识图谱。
在该步骤中，首先获取对象数据，所述对象数据可以是房地产数据，比如各个楼盘的数据、各个开发项目的数据、各个楼盘开发商的数据等；然后根据对象数据构建知识图谱。其中，所述知识图谱用于表示个人、组织和对象之间的关系。在本发明的实施例中，组织可以是企业、公司等，对象可以是信用卡、银行卡、贷款账户、房屋等。
可选地，步骤101可以包括：从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱，如图2所示。以图2所示的知识图谱为例，各个节点和各个之间的关系的定义如下表所示：
图数据库作为一种nosql数据库，是一个使用图结构进行语义查询的数据库，他使用节点、边和属性来表示和存储数据，并且在这个结构上实现数据库的所有特性，如对图数据对象进行创建、读取、更新、删除等操作，还有处理事务的能力和高可用性等。
作为本发明的再一个实施例，如图3所示，以房地产数据为例，步骤101可以包括如下步骤：
(1)数据切分
从关系型数据库(比如PostgreSQL)中拉取出房地产数据，每个节点按月份新建一个文件夹，文件夹中存储房地产数据。其中，房地产数据可以包括各个楼盘的数据、各个开发项目的数据、各个楼盘开发商的数据等。然后按照每20万行(每一行为一条数据)一个csv(逗号分隔值)文件进行裁剪，从而将千万级数据降至load_csv进程可控的10万级。
(2)多进程异步加速
load_csv方式导入速度偏慢，可以从编程角度进行必要的提速，在数据库负载为饱和的情况下，对load_csv代码进行多进程改进，同时有好几个load_csv进程同步进行，使得导入速度成倍增加。
(3)超时监控
由于服务器性能的波动性及数据量增加后，数据导入的效率会下降，而且load_csv在实际操作过程中会出现假死的情况，假死状态会持续很久而导致导入堵塞。引入超时监控机制，当某个文件进行load_csv出现假死情况而超时时，自动结束该动作，疏通阻塞。记录并跳过该文件接着导入下一文件。
(4)自拼接语句补漏
对于步骤(3)中记录到的跳过的超时记录文件，当load_csv结束后自动启动neo4jcypher语句拼接并执行，该方式虽慢，但是能精确执行跟踪执行的每一条语句，报错可追溯，而且执行过程对用户透明。
步骤102，采用所述知识图谱训练机器学习模型，得到风险计算模型。
在该步骤中，以步骤101中构建的知识图谱作为训练样本，训练机器学习模型，通过不断优化模型，最终得到风险计算模型。可选地，步骤102可以包括：拉取所述知识图谱中各个组织节点的基础特征；根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。可选地，可以网络建模工具(networkx)拉取所述知识图谱中各个组织节点的基础特征，然后构建网络结构特征。对复杂网络进行创建、操作和学习，利用networkx可以以标准化和非标准化的数据格式存储网络、生成多种随机网络和经典网络、分析网络结构、建立网络模型、设计新的网络算法、进行网络绘制等。
可选地，根据所述各个组织节点对应的基础特征，构建网络结构特征，包括：根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，如图4所示，计算所述组织关系网络图的指标，从而得到网络结构特征。可选地，以图2所示的指示图谱为例，获取各个企业节点的基础特征，每个企业节点的基础特征可以包括工商信息、对公贷款信息、合作协议、楼盘项目、楼盘、房屋、个人等；然后根据各个企业节点的基础特征确定各个企业节点对应的一度邻近企业特征和二度邻近企业特征，最后根据各个企业节点对应的一度邻近企业特征和二度邻近企业特征构建企业关系网络图，计算所述企业关系网络图的指标，从而得到网络结构特征。
在本发明的实施例中，当前企业节点的一度近邻企业主要包括通过合作协议、楼盘项目等与当前企业直接关联的企业，当前企业节点的二度邻近企业主要包括一度近邻企业再通过合作协议、楼盘项目等于当前企业间接关联的企业。一度近邻企业特征以及二度邻近企业特征均来源于基础特征。然后根据各个企业节点及其对应的一度近邻企业和二度邻近企业构建企业关系网络图(即同质图)，如图4所示。
网络结构特征的构建方法：首先通过企业及其一度、二度近邻企业构建企业关系网络图(同质图)，如图4所示，圆圈表示节点，节点之间的连线表示边；然后计算该网络图的相关指标(比如度数、pagerank、三角链接个数等)，网络结构特征及其含义如下：
| 网络结构特征 | 特征含义 |
| 度数 | 计算企业的关联企业数量 |
| pagerank | 企业在网络结构中的重要性 |
| 三角链接个数 | 企业之间构成三角关系的数量 |
| 密度 | 网络的密度 |
| 连接成分数 | 关联企业的同质性 |
以图4为例，该企业关系网络图的三角链接个数为：6个，网络的密度计算公式为：2m/n(n-1)，其中m表示边的数量，n表示节点的数量，因此，该网络的密度为：2*10/(5*4)＝1。
可选地，根据所述各个组织节点对应的基础特征，构建聚合特征，包括：对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
在本发明的实施例中，聚合方法分两种情形，一种是只做一次聚合再计算统计量，另外一种需要做多次聚合再计算统计量。
第一种聚合方法主要基于当前企业计算数值或类别特征的一些统计量，如总数、总和、中位数、平均数、众数、最小值、最大值、标准差、方差、频数等。这种方法偏向数值或类别较少的个体，反映企业之间的差异(宏观)。
以企业A的楼盘(楼盘投资总额、楼盘性质)为例：
| 楼盘聚合特征 | 特征含义 |
| 楼盘总数 | 企业A开发楼盘的数量 |
| 楼盘投资总额之总和 | 企业A投资的所有楼盘总额 |
| 楼盘投资总额之方差 | 企业A投资的楼盘额度差异 |
| 楼盘投资总额之平均 | 企业A投资的平均楼盘额度 |
| 楼盘投资总额之最大值 | 企业A投资的楼盘中最大额度 |
| 楼盘投资总额之最小值 | 企业A投资的楼盘中最小额度 |
| 楼盘性质之众数 | 企业A投资最多的楼盘类型 |
示例：
import pandas as pd
df＝pd.DataFrame({'custid':['1010','1010','1010','1010','1000','1000','1000','1000','1000'],'custid_1dgree':['1100','1100','1120','1120','1320','1320','1820','1820','1820'],'buildingarea':[120.,200.,90.,50.,130,130,190,170,210]})
其中，custid为当前企业id，custid_1dgree为当前企业的一度企业id，buildingarea为一度企业对应楼盘面积。
以计算均值为例，直接计算当前企业的楼盘面积均值：
df.groupby(['custid']).mean()
Out[1]:
buildingarea
custid
1000 166.0
1010 115.0
第二种聚合方法，首先对当前企业的近邻企业的特征计算统计量，然后根据近邻企业的统计量计算当前企业的聚合特征。这种方法偏向数值或类别较多的个体，反映个体之间的差异(微观)。
以企业A一度近邻企业的楼盘(楼盘投资总额)为例：
| 楼盘聚合特征 | 特征含义 |
| (近邻企业的平均楼盘投资总额)之平均 | 近邻企业的平均投资总额 |
| 所有楼盘投资总额的平均 | 所有楼盘的平均投资总额 |
示例：
import pandas as pd
df＝pd.DataFrame({'custid':['1010','1010','1010','1010','1000','1000','1000','1000','1000'],'custid_1dgree':['1100','1100','1120','1120','1320','1320','1820','1820','1820'],'buildingarea':[120.,200.,90.,50.,130,130,190,170,210]})
其中，custid为当前企业id，custid_1dgree为当前企业的一度企业id，buildingarea为一度企业对应楼盘面积。
以计算均值为例，计算当前企业的楼盘面积均值：
df.groupby(['custid','custid_1dgree']).mean().reset_index().groupby(['custid']).mean()
Out[2]:
buildingarea
custid
1000 160.0
1010 115.0
可选地，所述机器学习模型为LightGBM模型。本发明实施例采用微软开源的LightGBM实现。LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。
可选地，训练机器学习模型的过程可以包括如下步骤：
(1)确定预测目的：建立信用评分的预测目的是基于历史数据预测客户未来信用达到不同水平(比如高风险、中风险、低风险等)的概率。
(2)确定样本范围：可以选择开发商下个人房贷坏账率为0.0156以上的所有开发商。
(3)目标样本的选择：上一步样本范围框定后，获取好坏样本，所以要基于具体情况对好坏样本下一个合理的定义。比如信用评分模型中，逾期天数、还款比例可以作为好、坏样本的判断标准之一，本发明实施例对此不作限制。
(4)变量衍生：针对分析问题的不同，前期可以尽量多的衍生变量，后期可根据模型选择，保留重要变量。
(5)变量处理：变量一般可以分为无序类别变量、有序类别变量、连续变量。类别变量一般可以虚拟化(即dummy化)或者直接证据权重化(即woe化)，比如风险可以分为高风险，中风险等等；有序变量，比如学历，通常可以赋值为一定的数字当做连续变量进行离散，若类别不多，可以人工进行分类；连续变量通常需要离散。
(6)变量初选：变量初筛主要是根据一些常规指标进行筛选，比如缺失率不能太高，集中度不能太高等。
(7)变量选择：由于逻辑回归属于线性模型，有共线性的问题，所以需要看变量之间的相关性，若两个变量相关性太强，可以剔除其中一个。另外需要计算变量的方差膨胀系数(即vif)，若某变量vif过高，需确定具体原因，剔除某些变量，直到各变量的vif值趋于正常。
(8)模型建立：确定好进入模型的变量外，最终得到一个具体模型，还需要计算每个变量的贡献度、vif等指标。
(9)模型效果评价：评价模型的指标主要用预测集的ks(Kolmogorov-Smirnov，斯米尔诺夫)和auc(Area Under Curve)两个指标，另外还需要建立一个根据样本预测概率排序的分组。在模型有效的前提下，需要用外推样本对模型进行稳定性的评估。
(10)模型上线：在模型上线时需要尽可能规避操作性的风险，保持变量处理等逻辑的正确。
(11)模型监控：模型监控与模型效果评测一样，需要从两个方面去监控，一是有效性，主要看过件样本在后续的逾期表现；二是稳定性，测试变量稳定性和模型稳定性。
步骤103，根据所述风险计算模型，计算目标组织的风险值。
训练得到最优的风险计算模型之后，将待监控的目标组织的基础特征输入到所述风险计算模型中，输出所述目标组织的风险值，有助于实时监控各个组织的风险情况。
根据上面所述的各种实施例，可以看出本发明通过采用根据对象数据构建知识图谱，训练机器学习模型，得到风险计算模型，从而计算目标组织的风险值的技术手段，解决了现有技术中风险监控不准确的技术问题。本发明实施例通过构建知识图谱，能够更好地识别个人、组织和对象之间的关系，并通过量化关系，准确地衡量个人和组织拥有的社会资本和信用水平等。本发明实施例能够解决个体局限性，基于个人、组织和对象之间的关系计算组织的风险值，从而准确地监控各个组织的风险情况。
图5是根据本发明实施例的风险监控装置的主要模块的示意图，如图5所示，所述风险监控装置500包括构建模块501、训练模块502和计算模块503。其中，构建模块501用于根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；训练模块502用于采用所述知识图谱训练机器学习模型，得到风险计算模型；计算模块503用于根据所述风险计算模型，计算目标组织的风险值。
可选地，所述构建模块501还用于：
从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；
采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱。
可选地，所述训练模块502还用于：
拉取所述知识图谱中各个组织节点的基础特征；
根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；
采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。
可选地，所述训练模块502还用于：
根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；
根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，计算所述组织关系网络图的指标，从而得到网络结构特征。
可选地，所述训练模块502还用于：
对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
可选地，所述机器学习模型为LightGBM模型。
根据上面所述的各种实施例，可以看出本发明通过采用根据对象数据构建知识图谱，训练机器学习模型，得到风险计算模型，从而计算目标组织的风险值的技术手段，解决了现有技术中风险监控不准确的技术问题。本发明实施例通过构建知识图谱，能够更好地识别个人、组织和对象之间的关系，并通过量化关系，准确地衡量个人和组织拥有的社会资本和信用水平等。本发明实施例能够解决个体局限性，基于个人、组织和对象之间的关系计算组织的风险值，从而准确地监控各个组织的风险情况。
需要说明的是，在本发明所述风险监控装置的具体实施内容，在上面所述风险监控方法中已经详细说明了，故在此重复内容不再说明。
图6示出了可以应用本发明实施例的风险监控方法或风险监控装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的风险监控方法一般由服务器605执行，相应地，所述风险监控装置一般设置在服务器605中。本发明实施例所提供的风险监控方法也可以由终端设备601、602、603执行，相应地，所述风险监控装置可以设置在终端设备601、602、603中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括构建模块、训练模块和计算模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；采用所述知识图谱训练机器学习模型，得到风险计算模型；根据所述风险计算模型，计算目标组织的风险值。
根据本发明实施例的技术方案，因为采用根据对象数据构建知识图谱，训练机器学习模型，得到风险计算模型，从而计算目标组织的风险值的技术手段，所以克服了现有技术中风险监控不准确的技术问题。本发明实施例通过构建知识图谱，能够更好地识别个人、组织和对象之间的关系，并通过量化关系，准确地衡量个人和组织拥有的社会资本和信用水平等。本发明实施例能够解决个体局限性，基于个人、组织和对象之间的关系计算组织的风险值，从而准确地监控各个组织的风险情况。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (14)
1.一种风险监控方法，其特征在于，包括：
根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；
采用所述知识图谱训练机器学习模型，得到风险计算模型；
根据所述风险计算模型，计算目标组织的风险值。
2.根据权利要求1所述的方法，其特征在于，根据对象数据构建知识图谱，包括：
从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；
采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱。
3.根据权利要求1所述的方法，其特征在于，采用所述知识图谱训练机器学习模型，得到风险计算模型，包括：
拉取所述知识图谱中各个组织节点的基础特征；
根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；
采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。
4.根据权利要求3所述的方法，其特征在于，根据所述各个组织节点对应的基础特征，构建网络结构特征，包括：
根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；
根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，计算所述组织关系网络图的指标，从而得到网络结构特征。
5.根据权利要求3所述的方法，其特征在于，根据所述各个组织节点对应的基础特征，构建聚合特征，包括：
对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
6.根据权利要求3所述的方法，其特征在于，所述机器学习模型为LightGBM模型。
7.一种风险监控装置，其特征在于，包括：
构建模块，用于根据对象数据构建知识图谱；其中，所述知识图谱用于表示个人、组织和对象之间的关系；
训练模块，用于采用所述知识图谱训练机器学习模型，得到风险计算模型；
计算模块，用于根据所述风险计算模型，计算目标组织的风险值。
8.根据权利要求7所述的装置，其特征在于，所述构建模块还用于：
从关系型数据库中获取对象数据，按照预设条数裁剪所述对象数据，并保存成多个逗号分隔值文件；
采用多进程并发方式，将所述多个逗号分隔值文件导入到图数据库中，从而构建得到知识图谱。
9.根据权利要求7所述的装置，其特征在于，所述训练模块还用于：
拉取所述知识图谱中各个组织节点的基础特征；
根据所述各个组织节点的基础特征，构建网络结构特征和聚合特征；
采用所述网络结构特征和所述聚合特征训练机器学习模型，得到风险计算模型。
10.根据权利要求9所述的装置，其特征在于，所述训练模块还用于：
根据所述各个组织节点的基础特征，分别确定所述各个组织节点对应的近邻组织特征；其中，所述邻近组织特征包括一度邻近组织特征和二度邻近组织特征；
根据所述各个组织节点及其对应的近邻组织特征，构建组织关系网络图，计算所述组织关系网络图的指标，从而得到网络结构特征。
11.根据权利要求9所述的装置，其特征在于，所述训练模块还用于：
对于每个组织节点，根据所述组织节点对应的近邻组织特征计算近邻组织的统计量，从而根据所述近邻组织的统计量计算所述组织节点的聚合特征。
12.根据权利要求7所述的装置，其特征在于，所述机器学习模型为LightGBM模型。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010075022.XA CN111080178A (zh) | 2020-01-22 | 2020-01-22 | 一种风险监控方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010075022.XA CN111080178A (zh) | 2020-01-22 | 2020-01-22 | 一种风险监控方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111080178A true CN111080178A (zh) | 2020-04-28 |
Family
ID=70324072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010075022.XA Pending CN111080178A (zh) | 2020-01-22 | 2020-01-22 | 一种风险监控方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080178A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353728A (zh) * | 2020-05-06 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 一种风险分析方法和系统 |
| CN111951079A (zh) * | 2020-08-14 | 2020-11-17 | 国网电子商务有限公司 | 一种基于知识图谱的信用评级方法、装置及电子设备 |
| CN111967761A (zh) * | 2020-08-14 | 2020-11-20 | 国网电子商务有限公司 | 一种基于知识图谱的监控预警方法、装置及电子设备 |
| CN112364182A (zh) * | 2020-12-09 | 2021-02-12 | 交通银行股份有限公司 | 基于图特征的企业风险传导预测方法、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150066793A1 (en) * | 2008-08-08 | 2015-03-05 | Adroit Ds, Llc | Correlation engine for generating anonymous correlations between publication-restricted data and personal atribute data |
| CN109003089A (zh) * | 2018-06-28 | 2018-12-14 | 中国工商银行股份有限公司 | 风险识别方法及装置 |
| CN109472485A (zh) * | 2018-11-01 | 2019-03-15 | 成都数联铭品科技有限公司 | 企业失信风险传播查询系统及方法 |
| CN109657918A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技（深圳）有限公司 | 关联评估对象的风险预警方法、装置和计算机设备 |
| CN109657837A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技（深圳）有限公司 | 违约概率预测方法、装置、计算机设备和存储介质 |
| US20190266528A1 (en) * | 2018-02-25 | 2019-08-29 | Graphen, Inc. | System for Discovering Hidden Correlation Relationships for Risk Analysis Using Graph-Based Machine Learning |
| CN110458697A (zh) * | 2019-08-19 | 2019-11-15 | 北京百度网讯科技有限公司 | 用于评估风险的方法和装置 |
-
2020
- 2020-01-22 CN CN202010075022.XA patent/CN111080178A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150066793A1 (en) * | 2008-08-08 | 2015-03-05 | Adroit Ds, Llc | Correlation engine for generating anonymous correlations between publication-restricted data and personal atribute data |
| US20190266528A1 (en) * | 2018-02-25 | 2019-08-29 | Graphen, Inc. | System for Discovering Hidden Correlation Relationships for Risk Analysis Using Graph-Based Machine Learning |
| CN109003089A (zh) * | 2018-06-28 | 2018-12-14 | 中国工商银行股份有限公司 | 风险识别方法及装置 |
| CN109472485A (zh) * | 2018-11-01 | 2019-03-15 | 成都数联铭品科技有限公司 | 企业失信风险传播查询系统及方法 |
| CN109657918A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技（深圳）有限公司 | 关联评估对象的风险预警方法、装置和计算机设备 |
| CN109657837A (zh) * | 2018-11-19 | 2019-04-19 | 平安科技（深圳）有限公司 | 违约概率预测方法、装置、计算机设备和存储介质 |
| CN110458697A (zh) * | 2019-08-19 | 2019-11-15 | 北京百度网讯科技有限公司 | 用于评估风险的方法和装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353728A (zh) * | 2020-05-06 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 一种风险分析方法和系统 |
| CN111951079A (zh) * | 2020-08-14 | 2020-11-17 | 国网电子商务有限公司 | 一种基于知识图谱的信用评级方法、装置及电子设备 |
| CN111967761A (zh) * | 2020-08-14 | 2020-11-20 | 国网电子商务有限公司 | 一种基于知识图谱的监控预警方法、装置及电子设备 |
| CN111967761B (zh) * | 2020-08-14 | 2024-04-02 | 国网数字科技控股有限公司 | 一种基于知识图谱的监控预警方法、装置及电子设备 |
| CN111951079B (zh) * | 2020-08-14 | 2024-04-02 | 国网数字科技控股有限公司 | 一种基于知识图谱的信用评级方法、装置及电子设备 |
| CN112364182A (zh) * | 2020-12-09 | 2021-02-12 | 交通银行股份有限公司 | 基于图特征的企业风险传导预测方法、设备及存储介质 |
| CN112364182B (zh) * | 2020-12-09 | 2024-07-09 | 交通银行股份有限公司 | 基于图特征的企业风险传导预测方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119413B (zh) | 数据融合的方法和装置 | |
| US10614077B2 (en) | Computer system for automated assessment at scale of topic-specific social media impact | |
| CN111080178A (zh) | 一种风险监控方法和装置 | |
| US8751436B2 (en) | Analyzing data quality | |
| Amin et al. | Implementation of decision tree using C4. 5 algorithm in decision making of loan application by debtor (Case study: Bank pasar of Yogyakarta Special Region) | |
| CN111427971A (zh) | 用于计算机系统的业务建模方法、装置、系统和介质 | |
| CN111382279A (zh) | 审单方法和装置 | |
| CN113159934A (zh) | 一种网点客流量的预测方法、系统、电子设备及存储介质 | |
| CN112990311A (zh) | 一种准入客户的识别方法和装置 | |
| CN112950359B (zh) | 一种用户识别方法和装置 | |
| CN115062163A (zh) | 异常组织的识别方法、装置、电子设备和介质 | |
| CN111177653A (zh) | 一种信用评估方法和装置 | |
| CN114092230A (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
| US20220067460A1 (en) | Variance Characterization Based on Feature Contribution | |
| CN117934154A (zh) | 交易风险预测方法、模型训练方法、装置、设备、介质和程序产品 | |
| CN117033431A (zh) | 工单处理方法、装置、电子设备和介质 | |
| CN114897613A (zh) | 一种异常交易行为检测方法、系统、电子设备及存储介质 | |
| KR20230103025A (ko) | 기업 신용 분석 및 평가 정보 제공 방법, 장치 및 시스템 | |
| CN113934894A (zh) | 基于指标树的数据显示方法、终端设备 | |
| CN114219208A (zh) | 小微企业的授信处理方法、装置及电子设备 | |
| CN113191879A (zh) | 基于复杂网络的数据报送方法、装置、系统及介质 | |
| CN112700322B (zh) | 订单抽样检测方法、装置、电子设备和存储介质 | |
| TWI657393B (zh) | 行銷客群預測系統及其方法 | |
| CN113313333A (zh) | 关系网络拓扑的风险判定方法、装置和介质 | |
| CN115409636A (zh) | 产品风险预测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220928 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |