CN112634004A - 征信数据的血缘图谱分析方法与系统 - Google Patents

征信数据的血缘图谱分析方法与系统 Download PDF

Info

Publication number
CN112634004A
CN112634004A CN202011608718.0A CN202011608718A CN112634004A CN 112634004 A CN112634004 A CN 112634004A CN 202011608718 A CN202011608718 A CN 202011608718A CN 112634004 A CN112634004 A CN 112634004A
Authority
CN
China
Prior art keywords
node
analysis
analysis request
data
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011608718.0A
Other languages
English (en)
Other versions
CN112634004B (zh
Inventor
贡佳炜
石花
赵焕芳
薛飞
刘培扬
李倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202011608718.0A priority Critical patent/CN112634004B/zh
Publication of CN112634004A publication Critical patent/CN112634004A/zh
Application granted granted Critical
Publication of CN112634004B publication Critical patent/CN112634004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2246Trees, e.g. B+trees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明实施例提供征信数据的血缘图谱分析方法与系统。该方法包括:从数据源处采集征信数据并映射为实体和实体间的关系信息;将实体和关系信息存储到至血缘图谱中;接收血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;血缘全链分析请求用于指示对指定的对象进行血缘全链分析;父节点分析请求用于指示对关键字所关联的实体进行父节点分析;子节点分析请求用于指示对关键字所关联的实体进行子节点分析;影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;影响范围分析请求用于指示分析指定节点所影响的所有节点;根据分析请求对血缘图谱进行分析。

Description

征信数据的血缘图谱分析方法与系统
技术领域
本发明涉及大数据处理技术领域,特别涉及征信数据的血缘图谱分析方法与系统。
背景技术
随着我国征信体系的建成和发展,众多企业特别是金融行业都同步建立起一套征信数据监测体系,因此也逐渐积累下来大量的原生及衍生的征信数据。
征信数据存在来源渠道多、链条长、整合度大等特点,如何清晰地识别和追溯这些数据资产的“血缘”对于征信数据的应用来说至关重要。
发明内容
有鉴于此,本发明实施例提供征信数据的血缘图谱分析方法与系统,以清晰地识别和追溯数据资产。
为实现上述目的,本发明实施例提供如下技术方案:
一种征信数据的血缘图谱分析方法,包括:
从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息;每一实体为一个节点;
将所述实体和关系信息存储到至图数据库的血缘图谱中;
接收分析请求;所述分析请求为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;所述血缘全链分析请求包括指定的对象,用于指示对指定的对象进行血缘全链分析;所述父节点分析请求包括关键字,用于指示对关键字所关联的实体进行父节点分析;所述子节点分析请求包括关键字,用于指示对关键字所关联的实体进行子节点分析;所述影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;所述影响范围分析请求包括指定节点,用于指示分析指定节点所影响的所有节点;
根据所述分析请求对所述血缘图谱进行分析,得到分析结果。
可选的,所述从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息包括:解析数据加工脚本或者数据加工程序,生成相应的语法树;所述语法树包括多个节点;每一节点包括:指定数据源中的指定征信数据字段,以及,将所述指定征信数据字段中的数据映射为实体或关系的语法操作;将通过所述语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图数据存储区;所述血缘图谱包括多个关系链,每一关系链中包括至少两个实体,同一关系链中相邻两实体之间存在关系。
可选的,所述指定对象包括:指定的数据源或指定的业务场景;当所述分析请求为所述血缘全链分析请求时,所述根据所述分析请求对所述血缘图谱进行分析,得到分析结果包括:基于所述血缘图谱查找源头为所述指定数据源的所有关系链,并进行展示;所述分析结果包括源头为所述指定数据源的所有关系链;或者,基于所述血缘图谱,查找包含目标实体的所有关系链,并进行展示;所述目标实体包括:所述指定的业务场景所涉及到的元数据所关联的实体;所述分析结果包括包含目标实体的所有关系链。
可选的,所述第一指定节点和所述第二指定节点位于同一目标关系链;当所述分析请求为所述影响度分析请求时,所述根据所述分析请求对所述血缘图谱进行分析,得到分析结果包括:计算所述目标关系链中各目标节点的权重值;所述目标节点包括:所述目标关系链上所述第一指定节点至所述第二指定节点之间的所有节点以及所述第二指定节点;对各目标节点的权重值进行预设的运算处理,得到的运算结果为所述第二指定节点对第一指定节点的影响度。
可选的,所述语法操作包括操作符号;任一目标节点的权重值,根据所述目标节点与父节点或子节点之间的操作符号而确定。
一种征信数据的血缘图谱分析系统,包括图数据采集系统和血缘图谱分析系统,其中:
所述图数据采集系统用于:
从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息;每一实体为一个节点;
将所述实体和关系信息存储到至图数据库的血缘图谱中;
所述血缘图谱分析系统用于:
接收分析请求;所述分析请求为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;所述血缘全链分析请求包括指定的对象,用于指示对指定的对象进行血缘全链分析;所述父节点分析请求包括关键字,用于指示对关键字所关联的实体进行父节点分析;所述子节点分析请求包括关键字,用于指示对关键字所关联的实体进行子节点分析;所述影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;所述影响范围分析请求包括指定节点,用于指示分析指定节点所影响的所有节点;
根据所述分析请求对所述血缘图谱进行分析,得到分析结果。
可选的,所述图数据采集系统包括:解析引擎和图数据装配器;其中:所述解析引擎用于:解析数据加工脚本或者数据加工程序,生成相应的语法树;所述语法树包括多个节点;每一节点包括:指定数据源中的指定征信数据字段,以及,将所述指定征信数据字段中的数据映射为实体或关系的语法操作;所述图数据装配器用于:将通过所述语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图数据存储区;所述血缘图谱包括多个关系链,每一关系链中包括至少两个实体,同一关系链中相邻两实体之间存在关系。
可选的,所述指定对象包括:指定的数据源或指定的业务场景;所述血缘图谱分析系统具体用于:当所述分析请求为所述血缘全链分析请求时,基于所述血缘图谱查找源头为所述指定数据源的所有关系链,并进行展示;所述分析结果包括源头为所述指定数据源的所有关系链;或者,当所述分析请求为所述血缘全链分析请求时,基于所述血缘图谱,查找包含目标实体的所有关系链,并进行展示;所述目标实体包括:所述指定的业务场景所涉及到的元数据所关联的实体;所述分析结果包括包含目标实体的所有关系链。
可选的,所述第一指定节点和所述第二指定节点位于同一目标关系链;所述血缘图谱分析系统具体用于:当所述分析请求为所述影响度分析请求时,计算所述目标关系链中各目标节点的权重值;所述目标节点包括:所述目标关系链上所述第一指定节点至所述第二指定节点之间的所有节点以及所述第二指定节点;对各目标节点的权重值进行预设的运算处理,得到的运算结果为所述第二指定节点对第一指定节点的影响度。
可选的,所述语法操作包括操作符号;任一目标节点的权重值,根据所述目标节点与父节点或子节点之间的操作符号而确定。
可见,在本发明实施例中,将征信数据资产以图谱的形式予以存储,基于此图谱,可提供包括:血缘全链分析、父节点分析、子节点分析、数据节点影响度及影响范围分析,以实现识别和追溯数据资产。
附图说明
图1为本发明实施例提供的血缘图谱分析系统的一种示例性结构;
图2为本发明实施例提供的血缘图谱分析系统的另一种示例性结构;
图3为本发明实施例提供的血缘图谱分析方法的一种示例性流程;
图4为本发明实施例提供的从解析数据加工脚本或者数据加工程序到存储的示意图;
图5为本发明实施例提供的关系链示意图;
图6为本发明实施例提供的血缘图谱分析系统的又一种示例性结构;
图7为本发明实施例提供的分析类型示意图。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词总结如下:
图形数据库:Graph Database,是基于图论实现的一种新型NoSQL数据库;目前常见的图数据库包括:Neo4j、FlockDB、AllegroGrap、GraphDB、InfiniteGraph和HugeGraph;
数据血缘关系:指数据在生产、处理、流转到消亡过程中,数据之间形成的一种类似于人类社会血缘关系的关系。
基于关系数据库的存放模式,大数据下在高深度和广度下的图谱展示存在性能瓶颈。关系型数据库用于存储“关系型”数据的效果并不好,其查询复杂、缓慢、超出预期。
图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。最常见例子就是社会网络中人与人之间的关系,图形数据库的独特设计恰恰弥补了关系型数据库的缺陷。
因此,本发明实施例提供了基于图数据库的征信数据的血缘图谱分析方法与血缘图谱分析系统,以清晰地识别和追溯数据资产。
请参见图1,上述血缘图谱分析系统示例性地可包括图数据采集系统1、血缘图谱分析系统2和图数据库3。
请参见图2,图数据采集系统1可进一步包括解析引擎11和图数据装配器12。
本文后续将结合方法介绍每一模块或系统的作用。
图3示出了由上述血缘图谱分析系统所执行的征信数据的血缘图谱分析方法的一种示例性流程,包括:
S1:从数据源处采集征信数据并映射为实体,以及,实体间的关系信息。
具体的,可由图数据采集系统1执行上述步骤S1。
前述提及,图数据采集系统1可包括解析引擎11和图数据装配器12。请参见图4,可由解析引擎11解析数据加工脚本或者数据加工程序,生成相应的语法树。
其中,语法树包括多个节点。每一节点包括:指定数据源中的指定征信数据字段,以及,将指定征信数据字段中的数据映射为实体或关系的语法操作。
指定征信数据字段是指定数据源的元数据,实体、关系为目标数据库(图形数据库)的元数据。也即,每一节点包括指定数据源的元数据和目标数据库(图形数据库)元数据的映射关系。
语法树的作用是从指定数据源处获取征信数据字段,例如,某节点包括数据源A、征信报告中的数据字段B,则从数据源A的征信报告中的数据字段B获取数据。然后,确定获取的征信数据字段后续会被映射为实体(节点)或关系。上述语法操作进一步的可包括操作符号,例如直接取值,或者加、减、乘、除等算术运算,或者,交集、差集、合集等集合运算,或者与、或、非等逻辑运算。
然后,由图数据装配器12将通过语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图形数据库的图数据存储区。
请参见图5的示意图,血缘图谱包括多个关系链,每一关系链中包括至少两个实体(图5中的节点),同一关系链中相邻两实体之间存在关系(图5中以带箭头的连线表示)。
上述数据加工脚本具体可为批量sql脚本,在一个示例中,请参见图6,解析引擎11可进一步包括sql解析引擎和程序解析引擎。
其解析主要是识别脚本或程序中涉及到的数据源中物理对象(表、字段)以及一些操作符号(如计算,合计,截取等)。
其中,sql解析引擎可采用成熟的SQL解析工具,例如sqlparser、Apache Calcite(开源,只支持通用语法树);druid(阿里开源)完成sql语句语法树的生成。
程序解析引擎用于对于一些非sql语句的数据加工代码,通过预先设置的数据项以及规则模板,完成对程序中数据加工的语法树的生成。
S2:图数据采集系统将实体和关系信息存储到至图数据库的血缘图谱中。
具体的,可由图数据装配器12将通过语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图形数据库的图数据存储区。
S3:血缘图谱分析系统接收分析请求。
上述分析请求可由使用者通过人机交互界面下达。
分析请求具体可为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求。本文后续将进行更为详细的介绍。
S4:血缘图谱分析系统根据分析请求对所述血缘图谱进行分析,得到分析结果。
请参见图7,对应不同的分析请求,步骤S4中所进行的分析可进一步包括:血缘全链分析、父节点分析、子节点分析、影响度分析或影响范围分析。
可见,在本发明实施例中,将征信数据资产以图谱的形式予以存储,基于此图谱,可提供包括:血缘全链分析、父节点分析、子节点分析、数据节点影响度及影响范围分析,以实现识别和追溯数据资产。
下面介绍上述提及的各种分析请求,及相应的分析方式。
1,血缘全链分析:
上述的血缘全链分析请求可包括指定的对象,用于指示对指定的对象进行血缘全链分析。
其中,指定的对象可为指定的数据源,或者指定的业务场景。
对于指定的数据源,可基于血缘图谱查找源头为该指定数据源的所有关系链,并进行展示,在此情况下,分析结果可包括源头为该指定数据源的所有关系链。
例如,数据源为源系统A,可查找血缘图谱中,源头为源系统A的所有关系链,并进行可视化展示。
对于指定的业务场景,可将指定的业务场景所涉及到的元数据所关联的实体称为目标实体。可基于血缘图谱,查找包含目标实体的所有关系链,并进行展示。在此情况下,分析结果可包括包含目标实体的所有关系链。
举例来讲,某业务场景下,元数据包括帐单、配偶情况,则会查找帐单、配偶情况所关联的实体的所有关系链。
2,父节点分析:
与之对应的父节点分析请求可包括关键字。
父节点分析请求用于指示对关键字所关联的实体进行父节点分析。
用户可输入一个关键字,根据该关键字确定一个实体节点,再基于这个节点为起点往上追溯到其所有的父节点,以图谱形式展示。
父节点分析一般在追溯数据来源、进行数据质量监管等场景会用到。
3,子节点分析
与之对应的子节点分析请求可包括关键字,用于指示对关键字所关联的实体进行子节点分析。
用户可输入一个关键字,根据该关键字确定一个实体节点,再基于这个节点为起点往下拓扑其所有的子女节点,以图谱形式展示。
子节点分析一般在评估源数据影响范围、数据质量监管等场景会用到。
4,影响度分析
与之对应的影响度分析请求可包括:第一指定节点(实体)和第二指定节点(实体)。
影响度分析请求用于指示分析第二指定节点对第一指定节点的影响度。
具体的,可将第一指定节点和第二指定节点所在的同一关系链称为目标关系链,将目标关系链上第一指定节点至第二指定节点之间的所有节点以及第二指定节点称为目标节点。
计算上述目标关系链中各目标节点的权重值;再对各目标节点的权重值进行预设的运算处理,得到的运算结果为第二指定节点对第一指定节点的影响度。
举例来讲,第一指定节点为节点A,第二指定节点为节点D,两节点之间有节点B和节点C,则可计算节点B、C、D的权重值,再基于权重权进行预设的运算处理(例如累加),得到的运算结果为节点D对节点A的影响度。
在一个示例中,各目标节点的权重值可来自于专家经验分配。
在另一个示例中,任一目标节点的权重值,根据可目标节点与父节点或子节点之间的操作符号而确定。
沿用前例,节点B是节点A的父节点,节点A的数据是通过对节点B执行缩放得到的,则可根据预设的权重换算公式(规则)中,对缩放操作的权重值进行计算。
举例来讲,缩放倍数为5倍,权重计算系数为0.5,权重值为0.5*5=2.5。
5,影响范围分析
与之相应的影响范围请求包括指定节点,用于指示分析指定节点所影响的所有节点。
可基于指定节点为起点往上追溯到其所有的父节点,以图谱形式展示。
同时,基于这个节点为起点往下拓扑其所有的子女节点,以图谱形式展示。
影响范围分析一般用于分析源数据的某个节点的变化或调整,影响的所有节点。
图1示出了上述血缘图谱分析系统的一种示例性结构,包括:
图数据采集系统1,用于:
从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息;每一实体为一个节点;
将实体和关系信息存储到至图数据库的血缘图谱中;
血缘图谱分析系统2,用于:
接收分析请求;
其中,分析请求为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;血缘全链分析请求包括指定的对象,用于指示对指定的对象进行血缘全链分析;父节点分析请求包括关键字,用于指示对关键字所关联的实体进行父节点分析;子节点分析请求包括关键字,用于指示对关键字所关联的实体进行子节点分析;影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;影响范围分析请求包括指定节点,用于指示分析指定节点所影响的所有节点;
根据分析请求对血缘图谱进行分析,得到分析结果;
图数据库3,用于:存储血缘图谱。
详细内容请参见前述的记载,在此不作赘述。
在本发明其他实施例中,请参见图2,上述图数据采集系统进一步包括:解析引擎11和图数据装配器12。
其中:
解析引擎11用于:解析数据加工脚本或者数据加工程序,生成相应的语法树;语法树包括多个节点;每一节点包括:指定数据源中的指定征信数据字段,以及,将指定征信数据字段中的数据映射为实体或关系的语法操作;
图数据装配器12用于:将通过语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图数据存储区;血缘图谱包括多个关系链,每一关系链中包括至少两个实体,同一关系链中相邻两实体之间存在关系。
详细内容请参见前述的记载,在此不作赘述。
在本发明其他实施例中,上述血缘全链分析请求中的指定对象包括:指定的数据源或指定的业务场景;
上述血缘图谱分析系统可具体用于:
当分析请求为血缘全链分析请求时,基于血缘图谱查找源头为指定数据源的所有关系链,并进行展示;分析结果包括源头为指定数据源的所有关系链;
或者,
当分析请求为血缘全链分析请求时,基于血缘图谱,查找包含目标实体的所有关系链,并进行展示;目标实体包括:指定的业务场景所涉及到的元数据所关联的实体;分析结果包括包含目标实体的所有关系链。
详细内容请参见前述的记载,在此不作赘述。
在本发明其他实施例中,上述影响度分析请求中的第一指定节点和第二指定节点位于同一目标关系链。
血缘图谱分析系统可具体用于:
当分析请求为影响度分析请求时,计算目标关系链中各目标节点的权重值;目标节点包括:目标关系链上第一指定节点至第二指定节点之间的所有节点以及第二指定节点;
对各目标节点的权重值进行预设的运算处理,得到的运算结果为第二指定节点对第一指定节点的影响度。
上述语法操作包括操作符号;任一目标节点的权重值,根据目标节点与父节点或子节点之间的操作符号而确定。
详细内容请参见前述的记载,在此不作赘述。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及模型步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或模型的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、WD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种征信数据的血缘图谱分析方法,其特征在于,包括:
从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息;每一实体为一个节点;
将所述实体和关系信息存储到至图数据库的血缘图谱中;
接收分析请求;所述分析请求为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;所述血缘全链分析请求包括指定的对象,用于指示对指定的对象进行血缘全链分析;所述父节点分析请求包括关键字,用于指示对关键字所关联的实体进行父节点分析;所述子节点分析请求包括关键字,用于指示对关键字所关联的实体进行子节点分析;所述影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;所述影响范围分析请求包括指定节点,用于指示分析指定节点所影响的所有节点;
根据所述分析请求对所述血缘图谱进行分析,得到分析结果。
2.如权利要求1所述的方法,其特征在于,所述从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息包括:
解析数据加工脚本或者数据加工程序,生成相应的语法树;所述语法树包括多个节点;每一节点包括:指定数据源中的指定征信数据字段,以及,将所述指定征信数据字段中的数据映射为实体或关系的语法操作;
将通过所述语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图数据存储区;所述血缘图谱包括多个关系链,每一关系链中包括至少两个实体,同一关系链中相邻两实体之间存在关系。
3.如权利要求2所述的方法,其特征在于,所述指定对象包括:指定的数据源或指定的业务场景;
当所述分析请求为所述血缘全链分析请求时,所述根据所述分析请求对所述血缘图谱进行分析,得到分析结果包括:
基于所述血缘图谱查找源头为所述指定数据源的所有关系链,并进行展示;所述分析结果包括源头为所述指定数据源的所有关系链;
或者,
基于所述血缘图谱,查找包含目标实体的所有关系链,并进行展示;所述目标实体包括:所述指定的业务场景所涉及到的元数据所关联的实体;所述分析结果包括包含目标实体的所有关系链。
4.如权利要求2所述的方法,其特征在于,
所述第一指定节点和所述第二指定节点位于同一目标关系链;
当所述分析请求为所述影响度分析请求时,所述根据所述分析请求对所述血缘图谱进行分析,得到分析结果包括:
计算所述目标关系链中各目标节点的权重值;所述目标节点包括:所述目标关系链上所述第一指定节点至所述第二指定节点之间的所有节点以及所述第二指定节点;
对各目标节点的权重值进行预设的运算处理,得到的运算结果为所述第二指定节点对第一指定节点的影响度。
5.如权利要求4所述的方法,其特征在于,
所述语法操作包括操作符号;
任一目标节点的权重值,根据所述目标节点与父节点或子节点之间的操作符号而确定。
6.一种征信数据的血缘图谱分析系统,其特征在于,包括图数据采集系统和血缘图谱分析系统,其中:
所述图数据采集系统用于:
从数据源处采集征信数据并映射为图数据中的实体和实体间的关系信息;每一实体为一个节点;
将所述实体和关系信息存储到至图数据库的血缘图谱中;
所述血缘图谱分析系统用于:
接收分析请求;所述分析请求为:血缘全链分析请求、父节点分析请求、子节点分析请求、影响度分析请求或影响范围分析请求;所述血缘全链分析请求包括指定的对象,用于指示对指定的对象进行血缘全链分析;所述父节点分析请求包括关键字,用于指示对关键字所关联的实体进行父节点分析;所述子节点分析请求包括关键字,用于指示对关键字所关联的实体进行子节点分析;所述影响度分析请求包括:第一指定节点和第二指定节点,用于指示分析第二指定节点对第一指定节点的影响度;所述影响范围分析请求包括指定节点,用于指示分析指定节点所影响的所有节点;
根据所述分析请求对所述血缘图谱进行分析,得到分析结果。
7.如权利要求6所述的系统,其特征在于,所述图数据采集系统包括:解析引擎和图数据装配器;其中:
所述解析引擎用于:解析数据加工脚本或者数据加工程序,生成相应的语法树;所述语法树包括多个节点;每一节点包括:指定数据源中的指定征信数据字段,以及,将所述指定征信数据字段中的数据映射为实体或关系的语法操作;
所述图数据装配器用于:将通过所述语法树采集的数据转换为血缘图谱中的实体或关系,并存储到图数据存储区;所述血缘图谱包括多个关系链,每一关系链中包括至少两个实体,同一关系链中相邻两实体之间存在关系。
8.如权利要求7所述的系统,其特征在于,
所述指定对象包括:指定的数据源或指定的业务场景;
所述血缘图谱分析系统具体用于:
当所述分析请求为所述血缘全链分析请求时,基于所述血缘图谱查找源头为所述指定数据源的所有关系链,并进行展示;所述分析结果包括源头为所述指定数据源的所有关系链;
或者,
当所述分析请求为所述血缘全链分析请求时,基于所述血缘图谱,查找包含目标实体的所有关系链,并进行展示;所述目标实体包括:所述指定的业务场景所涉及到的元数据所关联的实体;所述分析结果包括包含目标实体的所有关系链。
9.如权利要求7所述的系统,其特征在于,
所述第一指定节点和所述第二指定节点位于同一目标关系链;
所述血缘图谱分析系统具体用于:
当所述分析请求为所述影响度分析请求时,计算所述目标关系链中各目标节点的权重值;所述目标节点包括:所述目标关系链上所述第一指定节点至所述第二指定节点之间的所有节点以及所述第二指定节点;
对各目标节点的权重值进行预设的运算处理,得到的运算结果为所述第二指定节点对第一指定节点的影响度。
10.如权利要求9所述的系统,其特征在于,
所述语法操作包括操作符号;任一目标节点的权重值,根据所述目标节点与父节点或子节点之间的操作符号而确定。
CN202011608718.0A 2020-12-30 2020-12-30 征信数据的血缘图谱分析方法与系统 Active CN112634004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011608718.0A CN112634004B (zh) 2020-12-30 2020-12-30 征信数据的血缘图谱分析方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011608718.0A CN112634004B (zh) 2020-12-30 2020-12-30 征信数据的血缘图谱分析方法与系统

Publications (2)

Publication Number Publication Date
CN112634004A true CN112634004A (zh) 2021-04-09
CN112634004B CN112634004B (zh) 2023-10-13

Family

ID=75286873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011608718.0A Active CN112634004B (zh) 2020-12-30 2020-12-30 征信数据的血缘图谱分析方法与系统

Country Status (1)

Country Link
CN (1) CN112634004B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360496A (zh) * 2021-05-26 2021-09-07 国网能源研究院有限公司 一种构建元数据标签库的方法及装置
CN113486008A (zh) * 2021-06-30 2021-10-08 平安信托有限责任公司 数据血缘分析方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446279A (zh) * 2018-10-15 2019-03-08 顺丰科技有限公司 基于neo4j大数据血缘关系管理方法、系统、设备及存储介质
CN110232056A (zh) * 2019-05-21 2019-09-13 苏宁云计算有限公司 一种结构化查询语言的血缘解析方法及其工具
CN110471949A (zh) * 2019-07-11 2019-11-19 阿里巴巴集团控股有限公司 数据血缘分析方法、装置、系统、服务器及存储介质
CN111488363A (zh) * 2020-06-28 2020-08-04 平安国际智慧城市科技股份有限公司 数据处理方法、装置、电子设备及介质
CN111538744A (zh) * 2020-07-08 2020-08-14 浙江大华技术股份有限公司 数据血缘的处理方法及装置
CN111694858A (zh) * 2020-04-28 2020-09-22 平安科技(深圳)有限公司 数据血缘分析方法、装置、设备及计算机可读存储介质
WO2020253370A1 (zh) * 2019-06-17 2020-12-24 深圳壹账通智能科技有限公司 关联图谱展示方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446279A (zh) * 2018-10-15 2019-03-08 顺丰科技有限公司 基于neo4j大数据血缘关系管理方法、系统、设备及存储介质
CN110232056A (zh) * 2019-05-21 2019-09-13 苏宁云计算有限公司 一种结构化查询语言的血缘解析方法及其工具
WO2020253370A1 (zh) * 2019-06-17 2020-12-24 深圳壹账通智能科技有限公司 关联图谱展示方法、装置、计算机设备和存储介质
CN110471949A (zh) * 2019-07-11 2019-11-19 阿里巴巴集团控股有限公司 数据血缘分析方法、装置、系统、服务器及存储介质
CN111694858A (zh) * 2020-04-28 2020-09-22 平安科技(深圳)有限公司 数据血缘分析方法、装置、设备及计算机可读存储介质
CN111488363A (zh) * 2020-06-28 2020-08-04 平安国际智慧城市科技股份有限公司 数据处理方法、装置、电子设备及介质
CN111538744A (zh) * 2020-07-08 2020-08-14 浙江大华技术股份有限公司 数据血缘的处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360496A (zh) * 2021-05-26 2021-09-07 国网能源研究院有限公司 一种构建元数据标签库的方法及装置
CN113360496B (zh) * 2021-05-26 2024-05-14 国网能源研究院有限公司 一种构建元数据标签库的方法及装置
CN113486008A (zh) * 2021-06-30 2021-10-08 平安信托有限责任公司 数据血缘分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112634004B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US11977541B2 (en) Systems and methods for rapid data analysis
US10339038B1 (en) Method and system for generating production data pattern driven test data
Vyawahare et al. A hybrid database approach using graph and relational database
US10474675B2 (en) Explain tool for optimizing SPARQL queries
CN112000773A (zh) 基于搜索引擎技术的数据关联关系挖掘方法及应用
CN102789487B (zh) 数据查询检索处理装置和数据查询检索处理方法
CN111444256A (zh) 一种数据可视化的实现方法和装置
CN106933906B (zh) 数据多维度的查询方法及装置
CN111930615B (zh) 代码质量评估方法及装置
CN112634004B (zh) 征信数据的血缘图谱分析方法与系统
CN111078729B (zh) 医疗数据溯源方法、装置、系统、存储介质以及电子设备
CN109684402A (zh) 一种基于大数据平台元数据血缘关系实现方法
CN114428822B (zh) 一种数据处理的方法、装置、电子设备及存储介质
CN112035508A (zh) 基于sql在线元数据解析的方法及系统、设备
CN105095436A (zh) 数据源数据自动建模方法
CN115408381A (zh) 数据处理方法及相关设备
CN115357678A (zh) 一种基于结构化自然语言规则的gis自动审查方法与系统
CN114238379A (zh) 基于sql生成器的报表查询方法和系统
Petermann et al. Graph mining for complex data analytics
CN117076742A (zh) 数据血缘追踪方法、装置及电子设备
CN112825068B (zh) 数据血缘生成方法及装置
CN111125045B (zh) 一种轻量级etl处理平台
US20130124484A1 (en) Persistent flow apparatus to transform metrics packages received from wireless devices into a data store suitable for mobile communication network analysis by visualization
CN117056308A (zh) 一种基于OpenLineage数据库生成金融大数据血缘关系的方法
CN111782738A (zh) 构建数据仓库表级别血缘关系的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant