CN111798311A - 基于大数据的银行风险分析库平台、搭建方法及可读介质 - Google Patents

基于大数据的银行风险分析库平台、搭建方法及可读介质 Download PDF

Info

Publication number
CN111798311A
CN111798311A CN202010715423.7A CN202010715423A CN111798311A CN 111798311 A CN111798311 A CN 111798311A CN 202010715423 A CN202010715423 A CN 202010715423A CN 111798311 A CN111798311 A CN 111798311A
Authority
CN
China
Prior art keywords
data
source
area
sql
analysis library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010715423.7A
Other languages
English (en)
Inventor
王玉海
曾杰
张志宏
陈绍佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Co Ltd Beijing Technology Co Ltd
Original Assignee
Smart Co Ltd Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Co Ltd Beijing Technology Co Ltd filed Critical Smart Co Ltd Beijing Technology Co Ltd
Priority to CN202010715423.7A priority Critical patent/CN111798311A/zh
Publication of CN111798311A publication Critical patent/CN111798311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02Banking, e.g. interest calculation or account maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及金融风控技术领域,具体涉及一种基于大数据的银行风险分析库平台、搭建方法及可读介质,本发明以大数据平台为依托,通过引入ETL工具、元数据管理和数据管控技术,对底层数据进行建模,从而快速建立强大稳定的数据分析系统,提高数据获取的便利性和时效性,提升数据质量,从而满足数据建模和分析的需要,防范欺诈风险和信用风险,实现数据价值在业务应用中转变为生产力,构建数据价值利用的有效闭环,真正实现从数据支撑到数据运用的转变。本发明引入大数据技术,支持实时数据加工和计算,要比采用传统数据库的方式加工的时间要少50%以上,提高了数据质量,屏蔽了新系统上线带来得应用层的改动。

Description

基于大数据的银行风险分析库平台、搭建方法及可读介质
技术领域
本发明涉及金融风控技术领域,具体涉及一种基于大数据的银行风险分析库平台、搭建方法及可读介质。
背景技术
随着互联网业务的快速发展和大数据时代的来领,传统银行对数据的采集、存储、应用、分析、管控、扩容均提出了新的要求。同时,银行内部也已经积累了大量的数据,数据种类日益丰富、数据规模不断扩大。虽然数据仓库系统在商业银行已发展十余年,但由于单节点处理能力较弱,以Scale-up纵向扩容方法提升硬件能力的方式成本高昂,性能提升有限,已经很难在指定的时间窗口中完成数据统计分析工作,也无法继续接入其它的业务系统数据,满足不了风控实时数据查询和分析得需要。因此,各家银行纷纷开始引入大数据技术,整合行里的数据资源、采集外部数据、基于大数据建立风险分析库平台,满足实时分析与决策等需求。
目前风险分析库平台的搭建普遍有两种方式,一种是由源系统或数据仓库定期卸数,由科技部门定期提供全量数据,数据存储完全与源系统表一致,采用传统数据库技术构建的数据分析平台。另外一种是引入开源的大数据技术搭建得大数据平台,在其之上开放沙箱环境,作为风险分析库,满足业务人员使用。方案一存在的问题是数据获取的时效性、处理效率不足,对接源系统众多,表结构复杂,数据质量不高,难以满足实时风险分析和复杂关联分析的需要。方案二存在得问题是以技术视角推动平台建设,搭建应用时缺乏长远考虑,数据管控、数据挖掘和建模分析能力不足,搭建得“先进”平台运转不起来。
发明内容
针对现有技术的不足,本发明公开了一种基于大数据的银行风险分析库平台、搭建方法及可读介质,目的是提供了一种风险分析库平台的搭建方法,以大数据平台为依托,通过引入ETL工具、元数据管理和数据管控技术,对底层数据进行建模,从而快速建立强大稳定的数据分析系统,提高数据获取的便利性和时效性,提升数据质量,从而满足数据建模和分析的需要,防范欺诈风险和信用风险,实现数据价值在业务应用中转变为生产力,构建数据价值利用的有效闭环,真正实现从数据支撑到数据运用的转变。
本发明通过以下技术方案予以实现:
第一方面,本发明公开一种基于大数据的银行风险分析库平台搭建方法,所述方法包括以下步骤:
S1梳理源系统数据库表结构,基于已有数据进行数据应用方案设计;
S2基于应用需求进行衍生层设计,并基于衍生层应用需求建立标准层,实现从源系统到衍生层得衔接;
S3梳理关系映射表和衍生层加工逻辑;
S4通过元数据管理模块生成数据表创建sql、数据映射sql和指标加工sql;
S5通过元数据分类和建模、血缘关系和影响分析生成数据核验规则sql,对必要字段进行规则校验,进行数据清洗;
S6通过开源软件StreamSets,调用元数据管理模块生成得各种sql,通过SQL解析器获取执行计划,按照定义得ETL流程,完成数据抽取、转换、加载和计算的全过程。
S7将结果数据分发至应用系统进行数据应用。
更进一步的,所述S1中,所述梳理源系统数据库表结构,明确可采集得数据范围、采集频率和采集方式,所述数据应用方案设计包括数据查询、报表、关联分析和数据挖掘、模型验证与优化和风险预警。
更进一步的,所述S3中,梳理关系映射表是通过建立数据映射关系表,连接表、字段和字段值的关系;
梳理衍生层加工逻辑是通过标准层的数据库表加工衍生层得逻辑梳理,包括指标加工逻辑、分类关系、关联节点和预测数据。
更进一步的,所述S4中,将所有的数据实体以及数据实体加工处理过程中的逻辑规则和数据映射关系上传至元数据管理模块,从而生成数据表创建sql、数据映射sql和指标加工sql。
更进一步的,所述S5中,进行数据清洗时,将不符合规则的数据过滤到分析库管理系统中,并给出提示,然后由人工干预并在前端进行数据修正后将数据寸回分析库。
更进一步的,所述数据应用支持将结果数据分发至应用系统并支持数据应用。
第二方面,本发明公开一种基于大数据的银行风险分析库平台,所述平台用于支撑并执行第一方面所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,包括文件存储区、临时数据区、贴源数据区、主题数据区、应用数据区和归档数据区。
更进一步的,源系统到文件存储区时,执行批量数据同步,由源系统定时卸载新增或时点数据到文件服务器上的文件存储区;
文件存储区到临时数据区时,执行文件到达事件监控,触发ETL工作流,通过ETL程序定时抓取文件服务器上的数据文件,进行文件质量核验并解析加载到临时数据区;
临时数据区到贴源数据区时,通过ETL工具按照贴源数据模型整合数据,存储在贴源数据区;
源系统到贴源数据区时,执行实时数据同步,由ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;
贴源数据区到主题数据区时,按照主题数据模型整合数据并生成汇总,存储在主题数据区;
主题数据区到应用数据区时,按照应用数据加工规则,调取sql、java或python代码执行数据加工计算,存储再应用数据区;
数据归档时,按照不同区域数据得特点,执行不同的归档策略,方便进行历史数据查询和业务回溯。
更进一步的,所述平台数据获取包括实时和批量,所述实时方式为ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;
所述批量方式为源系统定时卸载新增或时点数据到文件服务器上的文件存储区,通过ETL程序定时抓取文件服务器上的数据文件,存储在临时数据区;按照贴源数据模型整合数据存储在贴源数据区。
第三方面,本发明公开一种可读介质,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行第一方面所述的基于大数据的银行风险分析库平台搭建方法。
本发明的有益效果为:
本发明引入大数据技术,支持实时数据加工和计算,要比采用传统数据库的方式加工的时间要少50%以上。本平台支持在行里现有的大数据平台直接搭建应用,也支持轻量级的独立部署,所有的元数据、描述信息、血缘关系、加工逻辑sql、ETL调度任务都支持页面化的方式进行配置和查看。新增需求和问题修复时,通过配置即可完成,极大得降低了由于项目协助和编码开发所带来的地风险。同时,各个源系统的差异化数据都可以支持实时和批量得方式获取,通过ETL和数据核验加载到标准层中,提高了数据质量,上层应用人员只需要关注标准层的元数据,无需关注源系统得差异,屏蔽了新系统上线带来得应用层的改动。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一种基于大数据的银行风险分析库平台搭建方法原理步骤图;
图2是本发明实施例平台搭建方法原理图;
图3是一种基于大数据的银行风险分析库平台数据流向图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本实施例公开如图1所示的一种基于大数据的银行风险分析库平台搭建方法,所述方法包括以下步骤:
S1梳理源系统数据库表结构,基于已有数据进行数据应用方案设计;
S2基于应用需求进行衍生层设计,并基于衍生层应用需求建立标准层,实现从源系统到衍生层得衔接;
S3梳理关系映射表和衍生层加工逻辑;
S4通过元数据管理模块生成数据表创建sql、数据映射sql和指标加工sql;
S5通过元数据分类和建模、血缘关系和影响分析生成数据核验规则sql,对必要字段进行规则校验,进行数据清洗;
S6通过开源软件StreamSets,调用元数据管理模块生成得各种sql,通过SQL解析器获取执行计划,按照定义得ETL流程,完成数据抽取、转换、加载和计算的全过程。
S7将结果数据分发至应用系统进行数据应用。
S1中,所述梳理源系统数据库表结构,明确可采集得数据范围、采集频率和采集方式,所述数据应用方案设计包括数据查询、报表、关联分析和数据挖掘、模型验证与优化和风险预警。
S3中,梳理关系映射表是通过建立数据映射关系表,连接表、字段和字段值的关系;
梳理衍生层加工逻辑是通过标准层的数据库表加工衍生层得逻辑梳理,包括指标加工逻辑、分类关系、关联节点和预测数据。
S4中,将所有的数据实体以及数据实体加工处理过程中的逻辑规则和数据映射关系上传至元数据管理模块,从而生成数据表创建sql、数据映射sql和指标加工sql。
S5中,进行数据清洗时,将不符合规则的数据过滤到分析库管理系统中,并给出提示,然后由人工干预并在前端进行数据修正后将数据寸回分析库。
数据应用支持将结果数据分发至应用系统并支持数据应用。
本实施例引入大数据技术,支持实时数据加工和计算,要比采用传统数据库的方式加工的时间要少50%以上。
实施例2
本实施例公开一种基于大数据的银行风险分析库平台,包括文件存储区、临时数据区、贴源数据区、主题数据区、应用数据区和归档数据区。图3是数据流向图,具体说明如下:
(1)源系统到文件存储区:执行批量数据同步,由源系统定时卸载新增或时点数据到文件服务器上的文件存储区;
数据获取,包括实时和批量两种方式。实时方式为ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;批量方式为源系统定时卸载新增或时点数据到文件服务器上的文件存储区,通过ETL程序定时抓取文件服务器上的数据文件,存储在临时数据区;按照贴源数据模型整合数据(标准化、数据更新/追加),存储在贴源数据区;
(2)文件存储区到临时数据区:执行文件到达事件监控,触发ETL工作流,通过ETL程序定时抓取文件服务器上的数据文件,进行文件质量核验并解析加载到临时数据区;
(3)临时数据区到贴源数据区:通过ETL工具按照贴源数据模型整合数据(标准化、数据更新/追加),存储在贴源数据区;
(4)源系统到贴源数据区:执行实时数据同步,由ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;
(5)贴源数据区到主题数据区:按照主题数据模型整合数据并生成汇总,存储在主题数据区;
(6)主题数据区到应用数据区:按照应用数据加工规则,调取sql、java或python代码执行数据加工计算,存储再应用数据区;
(7)数据归档:按照不同区域数据得特点,执行不同的归档策略,方便进行历史数据查询和业务回溯。
实施例3
本实施例公开如图3所示的搭建方法,主要包括以下步骤:
(1)梳理源系统数据库表结构,明确可采集得数据范围、采集频率和采集方式,目前一般需要采集得数据范围如下:
Figure BDA0002596157300000071
Figure BDA0002596157300000081
(2)基于已有数据进行数据应用方案设计,包括数据查询、报表、关联分析和数据挖掘、模型验证与优化、风险预警等,并基于应用需求进行衍生层设计。
(3)基于衍生层应用需求,建立标准层,实现从源系统到衍生层得衔接。一般标标准层建表如下:
Figure BDA0002596157300000082
Figure BDA0002596157300000091
(4)梳理关系映射表:通过建立数据映射关系表,连接表、字段和字段值的关系,解决数据来源和多个系统数据间数据无法保持一致的问题。
(5)梳理衍生层加工逻辑:通过标准层的数据库表加工衍生层得逻辑梳理,包括指标加工逻辑、分类关系、关联节点和预测数据等。
(6)元数据管理:将所有的数据实体(系统、库、表、字段的描述)以及数据实体加工处理过程中的逻辑规则和数据映射关系上传至元数据管理模块,从而生成数据表创建sql、数据映射sql和指标加工sql。
(7)数据核验:基于元数据分类和建模、血缘关系和影响分析生成数据核验规则sql,对必要字段进行规则校验,进行数据清洗,将不符合规则的数据过滤到分析库管理系统中,并给出提示(系统通知、邮件、短信等),然后由人工干预并在前端进行数据修正后将数据寸回分析库;
(8)ETL任务调度:通过开源软件StreamSets,调用元数据管理模块生成得各种sql,通过SQL解析器获取执行计划,按照定义得ETL流程,完成数据抽取、转换、加载和计算得全过程。
(9)数据应用:支持将结果数据分发至应用系统,支持数据应用。
实施例4
本实施例公开一种可读介质,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行基于大数据的银行风险分析库平台搭建方法。
综上,与现有技术相比,本发明提出的技术方案提供了一种快速搭建风险库平台的方法,引入大数据技术,支持实时数据加工和计算,要比采用传统数据库的方式加工的时间要少50%以上。
本平台支持在行里现有的大数据平台直接搭建应用,也支持轻量级的独立部署,所有的元数据、描述信息、血缘关系、加工逻辑sql、ETL调度任务都支持页面化的方式进行配置和查看。新增需求和问题修复时,通过配置即可完成,极大得降低了由于项目协助和编码开发所带来的地风险。
同时,各个源系统的差异化数据都可以支持实时和批量得方式获取,通过ETL和数据核验加载到标准层中,提高了数据质量,上层应用人员只需要关注标准层的元数据,无需关注源系统得差异,屏蔽了新系统上线带来得应用层的改动。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于大数据的银行风险分析库平台搭建方法,其特征在于,所述方法包括以下步骤:
S1梳理源系统数据库表结构,基于已有数据进行数据应用方案设计;
S2基于应用需求进行衍生层设计,并基于衍生层应用需求建立标准层,实现从源系统到衍生层得衔接;
S3梳理关系映射表和衍生层加工逻辑;
S4通过元数据管理模块生成数据表创建sql、数据映射sql和指标加工sql;
S5通过元数据分类和建模、血缘关系和影响分析生成数据核验规则sql,对必要字段进行规则校验,进行数据清洗;
S6通过开源软件StreamSets,调用元数据管理模块生成得各种sql,通过SQL解析器获取执行计划,按照定义得ETL流程,完成数据抽取、转换、加载和计算的全过程。
S7将结果数据分发至应用系统进行数据应用。
2.根据权利要求1所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,所述S1中,所述梳理源系统数据库表结构,明确可采集得数据范围、采集频率和采集方式,所述数据应用方案设计包括数据查询、报表、关联分析和数据挖掘、模型验证与优化和风险预警。
3.根据权利要求1所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,所述S3中,梳理关系映射表是通过建立数据映射关系表,连接表、字段和字段值的关系;
梳理衍生层加工逻辑是通过标准层的数据库表加工衍生层得逻辑梳理,包括指标加工逻辑、分类关系、关联节点和预测数据。
4.根据权利要求1所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,所述S4中,将所有的数据实体以及数据实体加工处理过程中的逻辑规则和数据映射关系上传至元数据管理模块,从而生成数据表创建sql、数据映射sql和指标加工sql。
5.根据权利要求1所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,所述S5中,进行数据清洗时,将不符合规则的数据过滤到分析库管理系统中,并给出提示,然后由人工干预并在前端进行数据修正后将数据寸回分析库。
6.根据权利要求1所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,所述数据应用支持将结果数据分发至应用系统并支持数据应用。
7.一种基于大数据的银行风险分析库平台,所述平台用于支撑并执行如权利要求1-6任一项所述的基于大数据的银行风险分析库平台搭建方法,其特征在于,包括文件存储区、临时数据区、贴源数据区、主题数据区、应用数据区和归档数据区。
8.根据权利要求7所述的基于大数据的银行风险分析库平台,其特征在于,源系统到文件存储区时,执行批量数据同步,由源系统定时卸载新增或时点数据到文件服务器上的文件存储区;
文件存储区到临时数据区时,执行文件到达事件监控,触发ETL工作流,通过ETL程序定时抓取文件服务器上的数据文件,进行文件质量核验并解析加载到临时数据区;
临时数据区到贴源数据区时,通过ETL工具按照贴源数据模型整合数据,存储在贴源数据区;
源系统到贴源数据区时,执行实时数据同步,由ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;
贴源数据区到主题数据区时,按照主题数据模型整合数据并生成汇总,存储在主题数据区;
主题数据区到应用数据区时,按照应用数据加工规则,调取sql、java或python代码执行数据加工计算,存储再应用数据区;
数据归档时,按照不同区域数据得特点,执行不同的归档策略,方便进行历史数据查询和业务回溯。
9.根据权利要求7所述的基于大数据的银行风险分析库平台,其特征在于,所述平台数据获取包括实时和批量,所述实时方式为ETL工具通过数据库数据交换组件获取增量数据,执行标准化处理和贴源整合,存储在贴源数据区;
所述批量方式为源系统定时卸载新增或时点数据到文件服务器上的文件存储区,通过ETL程序定时抓取文件服务器上的数据文件,存储在临时数据区;按照贴源数据模型整合数据存储在贴源数据区。
10.一种可读介质,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如权利要求1-6中任一所述的基于大数据的银行风险分析库平台搭建方法。
CN202010715423.7A 2020-07-22 2020-07-22 基于大数据的银行风险分析库平台、搭建方法及可读介质 Pending CN111798311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715423.7A CN111798311A (zh) 2020-07-22 2020-07-22 基于大数据的银行风险分析库平台、搭建方法及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715423.7A CN111798311A (zh) 2020-07-22 2020-07-22 基于大数据的银行风险分析库平台、搭建方法及可读介质

Publications (1)

Publication Number Publication Date
CN111798311A true CN111798311A (zh) 2020-10-20

Family

ID=72827597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715423.7A Pending CN111798311A (zh) 2020-07-22 2020-07-22 基于大数据的银行风险分析库平台、搭建方法及可读介质

Country Status (1)

Country Link
CN (1) CN111798311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613717A (zh) * 2020-12-17 2021-04-06 安徽兆尹信息科技股份有限公司 金融数据处理方法以及存储介质
CN116757837A (zh) * 2023-08-22 2023-09-15 国泰新点软件股份有限公司 一种应用于中标贷的信用风控方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405729A (zh) * 2006-03-23 2009-04-08 微软公司 具有增量式视图维护的映射体系结构
CN102349081A (zh) * 2009-02-10 2012-02-08 渣普控股有限公司 Etl构建器
CN103186541A (zh) * 2011-12-27 2013-07-03 阿里巴巴集团控股有限公司 一种映射关系生成方法及装置
CN105069142A (zh) * 2015-08-18 2015-11-18 山大地纬软件股份有限公司 数据增量抽取转换与分发系统及方法
WO2018013940A1 (en) * 2016-07-14 2018-01-18 Diebold Nixdorf Incorporated Distributed ledger applications
US20190034922A1 (en) * 2017-07-25 2019-01-31 Bank Of America Corporation Real-time processing distributed ledger system
CN109960708A (zh) * 2019-03-22 2019-07-02 蔷薇智慧科技有限公司 数据处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405729A (zh) * 2006-03-23 2009-04-08 微软公司 具有增量式视图维护的映射体系结构
CN102349081A (zh) * 2009-02-10 2012-02-08 渣普控股有限公司 Etl构建器
CN103186541A (zh) * 2011-12-27 2013-07-03 阿里巴巴集团控股有限公司 一种映射关系生成方法及装置
CN105069142A (zh) * 2015-08-18 2015-11-18 山大地纬软件股份有限公司 数据增量抽取转换与分发系统及方法
WO2018013940A1 (en) * 2016-07-14 2018-01-18 Diebold Nixdorf Incorporated Distributed ledger applications
US20190034922A1 (en) * 2017-07-25 2019-01-31 Bank Of America Corporation Real-time processing distributed ledger system
CN109960708A (zh) * 2019-03-22 2019-07-02 蔷薇智慧科技有限公司 数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何川: ""SX农信数据管理平台设计研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613717A (zh) * 2020-12-17 2021-04-06 安徽兆尹信息科技股份有限公司 金融数据处理方法以及存储介质
CN116757837A (zh) * 2023-08-22 2023-09-15 国泰新点软件股份有限公司 一种应用于中标贷的信用风控方法及系统

Similar Documents

Publication Publication Date Title
EP3513314B1 (en) System for analysing data relationships to support query execution
EP3513313A1 (en) System for importing data into a data repository
CN103514223A (zh) 一种数据仓库数据同步方法和系统
CN112181955B (zh) 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法
CN112181960B (zh) 一种基于AIOps的智能运维框架系统
CN111798311A (zh) 基于大数据的银行风险分析库平台、搭建方法及可读介质
CN111046000B (zh) 一种面向政府数据交换共享的安全监管元数据组织方法
CN102750367A (zh) 在云端平台的大数据检核系统及其方法
CN111737335B (zh) 产品信息集成处理方法、装置、计算机设备和存储介质
CN114880405A (zh) 一种基于数据湖的数据处理方法及系统
CN113688396A (zh) 一种汽车信息安全风险评估自动化系统
CN112328631A (zh) 一种生产故障分析方法、装置、电子设备及存储介质
CN105279138A (zh) 一种资讯研究报告自动生成系统
CN108415990B (zh) 数据质量监控方法、装置、计算机设备和存储介质
CN113468163A (zh) 一种多源异构公安大数据智能对接引擎系统
CN112907377A (zh) 业务流程监控方法、装置、设备及介质
CN115016902B (zh) 工业流程数字化管理系统及方法
CN116719799A (zh) 环保数据治理方法、装置、计算机设备和存储介质
CN112395343B (zh) 一种基于dsg的字段变更数据采集抽取方法
CN114817226A (zh) 政府数据的处理方法及装置
CN109032578B (zh) 基于数据库sql代码生成方法及系统
CN112560213A (zh) 基于模型系统工程和超网络理论的体系建模方法及系统
Krishna Mohan et al. Quality framework for reliability improvement in SAP netweaver business intelligence environment through lean software development––a practical perspective
CN114092265B (zh) 提高保单新业务价值确定效率的方法、装置及存储介质
CN112561368B (zh) 一种oa审批系统的可视化业绩计算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201020