CN112417018A - 一种数据共享方法及装置 - Google Patents
一种数据共享方法及装置 Download PDFInfo
- Publication number
- CN112417018A CN112417018A CN202011318374.XA CN202011318374A CN112417018A CN 112417018 A CN112417018 A CN 112417018A CN 202011318374 A CN202011318374 A CN 202011318374A CN 112417018 A CN112417018 A CN 112417018A
- Authority
- CN
- China
- Prior art keywords
- data
- marketing
- generating
- lake
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种数据共享方法及装置,所述方法包括:将获取到的各业务系统中的业务数据集中存储至数据湖;根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;根据所述营销主题数据生成通用共享数据;根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。本申请能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务。
Description
技术领域
本申请涉及大数据及人工智能等技术领域,具体是一种数据共享方法及装置。
背景技术
金融业是典型的数据种类繁多、数据量巨大、专业性强的行业。以一个中型银行为例,按业务或功能划分,其内部应用系统一般可多达数百个,且每个应用系统也都包含着海量的数据。同时各个应用系统各自为政,各应用系统的数据难以流通及共享,存在数据信息孤岛的问题。考虑到银行内部各个应用系统的海量数据通常具有较高的商业价值,如何让银行系统中各应用子系统享受到数据共享服务,促进各应用子系统的数据在各产品系统中快速转化应用,挖掘出重要的商业价值,快速响应银行业务创新需求,赋能银行服务生态体系建设,提升服务效能,成为当前银行业的一种共同难题。
发明内容
针对现有技术中的问题,本申请提供一种数据共享方法及装置,能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种数据共享方法,包括:
将获取到的各业务系统中的业务数据集中存储至数据湖;
根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
根据所述营销主题数据生成通用共享数据;
根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
进一步地,所述将获取到的各业务系统中的业务数据集中存储至数据湖,包括:
根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
进一步地,所述根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据,包括:
根据营销需求建立聚合主键信息;
根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
进一步地,所述根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据,包括:
根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
根据所述知识图谱及所述索引生成所述营销知识数据。
进一步地,所述根据所述营销主题数据生成通用共享数据,包括:
根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
根据所述营销主题数据及所述客户画像数据生成经营指标数据;
根据所述客户画像数据及所述经营指标数据生成通用共享数据。
进一步地,所述根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据,包括:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
第二方面,本申请提供一种数据共享装置,包括:
入湖单元,用于将获取到的各业务系统中的业务数据集中存储至数据湖;
主题知识生成单元,用于根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
通用数据生成单元,用于根据所述营销主题数据生成通用共享数据;
专业数据生成单元,用于根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
进一步地,所述入湖单元,包括:
日志更新模块,用于根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
队列建立模块,用于根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
贴源复制模块,用于将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
进一步地,所述主题知识生成单元,包括:
主键信息建立模块,用于根据营销需求建立聚合主键信息;
主题数据生成模块,用于根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
进一步地,所述主题知识生成单元,包括:
知识图谱生成模块,用于根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
索引建立模块,用于根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
知识数据生成模块,用于根据所述知识图谱及所述索引生成所述营销知识数据。
进一步地,所述通用数据生成单元,包括:
画像生成模块,用于根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
经营指标生成模块,用于根据所述营销主题数据及所述客户画像数据生成经营指标数据;
通用数据生成模块,用于根据所述客户画像数据及所述经营指标数据生成通用共享数据。
进一步地,所述专业数据生成单元,具体用于:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
第三方面,本申请提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述数据共享方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述数据共享方法的步骤。
针对现有技术中的问题,本申请提供一种数据共享方法及装置,能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,形成标准统一的共享数据服务,促进银行内部各子系统中的业务数据在各产品系统中快速转化应用,以快速响应银行业务的创新需求,赋能银行服务生态体系建设,提升服务效能。
附图说明
图1为本申请实施例中数据共享方法的流程图;
图2为本申请实施例中数据入湖的流程图;
图3为本申请实施例中生成营销主题数据的流程图;
图4为本申请实施例中生成营销知识数据的流程图;
图5为本申请实施例中生成通用共享数据的流程图;
图6为本申请实施例中数据共享装置的结构图;
图7为本申请实施例中入湖单元的结构图;
图8为本申请实施例中主题知识生成单元的结构图之一;
图9为本申请实施例中主题知识生成单元的结构图之二;
图10为本申请实施例中通用数据生成单元的结构图;
图11为本申请实施例中的电子设备的结构示意图;
图12为本申请实施例中的主题聚合的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,为了能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,本申请提供一种数据共享方法,包括:
S101:将获取到的各业务系统中的业务数据集中存储至数据湖;
可以理解的是,一般而言,银行系统所涉及的业务种类非常庞杂,每种业务可能需要使用不同的业务系统进行数据采集及处理。这些业务系统往往独立运行,彼此之间虽可能有联系但未必都能实现数据的实时共享。日间,客户、银行系统的柜员或管理人员等可以通过各业务系统进行业务操作,操作过程会生成各种各样且数量巨大的业务数据,这些业务数据一般储存于各业务系统自身的数据库中。而不同业务系统的数据库之间往往缺乏联系。这些业务数据可能包括对公存款业务数据、贷款业务数据、企业网银业务数据及手机银行业务数据等。
为了实现金融数据的共享,本申请实施例将获取到的各业务系统中的业务数据以贴源的方式投放入数据湖进行集中存储,以方便后续对这些海量业务数据进行统筹处理。所谓以贴源的方式投放入数据湖进行集中存储是指以贴源的方式高效将获取到的各业务系统中的业务数据复制入数据湖中。数据湖中有一贴源数据集,贴源数据集中存储了具有业务价值的结构化业务数据及非结构化业务数据。这些业务数据覆盖整个银行系统所有的业务,能够支撑整个银行系统的监管报送、客户营销、反欺诈监管、境外金融业务监管、绩效考核、风险评估监控等众多业务场景。这样一来,整个银行系统的所有业务数据都全部被存储在一个巨大的数据库中,这个数据库就是本申请实施例中的数据湖。数据湖的引入解决了数据信息孤岛的问题,使得各业务系统中的业务数据不再封闭在各自业务系统中的数据库内,而是可以通过数据湖实现实时的数据共享,后续业务人员可以对以上业务数据进行集中处理,挖掘价值,对外提供共享数据服务及营销数据智能服务。
其中,贴源方式是指业务数据被投放入数据湖后所生成的数据表默认按贴源表的形式进行存放。贴源的意思是指,存储于数据湖中的业务数据,其数据类型、数据长度、基本数据结构及数据文件接口等均与其在上游源系统时的数据类型、数据长度、基本数据结构及数据文件接口等完全保持一致。为此,数据湖不对以贴源方式复制入数据湖的业务数据进行任何的业务逻辑处理,仅是根据数据湖对其内部所存储的数据的数据模型的要求,增加数据存储时间等信息要素。
S102:根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
可以理解的是,由于数据湖中集中存储了所有的业务数据,后续可以很方便地根据数据湖中集中存储的业务数据进行数据处理。这些数据处理包括但不限于生成主题数据及知识数据。其中,生成主题数据的目的在于对各业务数据进行分类,以便于可以在数据共享时能够快速高效地对业务数据进行检索及应用。生成知识数据的目的在于,建立检索索引,使散落随机存储的非结构数据结构化极知识化,实现对非结构化数据信息标签的集中管理及价值挖掘。营销主题数据以下可以简称为主题数据。营销知识数据以下可以简称为知识数据。
S103:根据所述营销主题数据生成通用共享数据;
可以理解的是,生成通用共享数据是提供通用共享数据服务的基础,通用共享数据服务可以为整个银行系统提供各业务系统都可能用到的数据信息服务,包括但不限于共享指标服务、客户画像服务及业务知识服务等。通过通用共享数据服务可以对这些业务数据进行统一的通用建设、管理及加工,可以整合资源,提高效率,尽量减少或避免各业务应用系统进行相同业务数据的重复建设、管理及加工。进行统一的通用建设、管理及加工后,银行系统中的各业务应用系统可以直接调用通用共享数据服务的相关内容。
S104:根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
可以理解的是,专业共享数据是指专业领域内标准化的业务数据。生成专业共享数据服务旨在沉淀专业数据资产,形成公共数据组件,快速响应业务需求。这些专业领域可以包括但不限于风险、渠道、个金、对公、信贷、互联网、信用卡等。
从上述描述可知,本申请提供的数据共享方法,能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,形成标准统一的共享数据服务,促进银行内部各子系统中的业务数据在各产品系统中快速转化应用,以快速响应银行业务的创新需求,赋能银行服务生态体系建设,提升服务效能。
参见图2,将获取到的各业务系统中的业务数据投放入数据湖进行集中存储,包括:
S201:根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
S202:根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
S203:将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
可以理解的是,在各业务系统的业务数据生成后,银行系统的业务人员或管理人员可以通过操纵计算机程序,实时根据各业务系统中数据库中业务数据的变动所引起的数据日志信息变动,将发生变动的数据库中的业务数据以贴源的方式高时效复制进入Kafka高性能分布式消息队列。这种复制方式时效性高,一般在2至5秒内可以完成对一条业务数据的复制,同时这种方式对业务系统中数据库的性能的影响也十分微小,几乎不会对业务系统日间的正常业务操作造成影响。
上述过程也可以理解为,当来自不同业务系统的不同业务数据接踵而至时,可以按照时间顺序将上述业务数据依次以贴源的方式复制入Kafka高性能分布式消息队列,使这些业务数据在Kafka高性能分布式消息队列中汇集,再依次读取Kafka高性能分布式消息队列中的队列数据,并将这些队列数据以贴源的方式复制进入数据湖进行集中存储。
一般而言,将业务数据投放入数据湖的方式可以包括:
1、单条数据贴源复制:这种方式可以满足高时效性数据,例如分钟级数据或小时级数据在复制时的使用需求,也就是来了一条数据就复制一条数据。这种方式也可以满足存在批量数据传输性能压力的应用场景。
2、批量数据贴源复制:这种方式可以用于时效性要求不高的数据复制应用场景,例如次日级数据在复制时的使用需求。
3、逻辑入湖:逻辑入湖是对业务数据物理入湖方式的补充。所谓业务数据物理入湖是指通过数据交换及数据复制等方式将业务数据纳入数据湖,比如某个在线数据分析应用系统;而业务数据逻辑入湖则是指业务数据仍然保留在原来的业务系统中,仅是通过大数据平台统一数据访问层的灵活查询等方式,对业务数据进行穿透式访问。这样的方式可以同时满足分析查询及生产运行的要求,两部分数据资源可以相互隔离互不影响。采用这种方式进行入湖时,数据访问频度较低,不涉及云上批量计算需求等场景。逻辑入湖可以不再采用贴源复制的方式进行。
从上述描述可知,本申请提供一种数据共享方法,能够将获取到的各业务系统中的业务数据投放入数据湖进行集中存储。
参见图3,根据所述数据湖中集中存储的所述业务数据生成主题数据及知识数据,包括:
S301:根据营销需求建立聚合主键信息;
S302:根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
可以理解的是,由于在实际业务场景中,不同的营销需求对应不同的营销指标。比如,银行系统可以根据其对金融产品的营销金额期望设置针对金融产品营销金额的营销指标。这些营销指标往往存在重复建设及分散存储的问题,不利于实现数据共享,无法形成针对抽象领域,如对公领域、个人领域、风险领域及信贷领域等的数据指标。同时已设立好的营销指标往往也不支持事后的灵活配置及调整,从而导致出现研发投入成本高及需求响应速度慢等问题。因此,本申请实施例可以根据营销需求建立聚合主键信息,对营销数据按业务对象进行划分,比如可以划分为内部户主题或对公存款主题等,再对营销数据按照对应主题进行重组、归集及内聚,加工形成更易于使用的主题数据,供业务人员或管理人员后续在营销过程中使用。举例而言,这些业务对象可以包括但不限于:对公存款、对公贷款及国际结算等。
图12是业务主题聚合结构的示意图。其中,聚合主键信息是描述每一业务数据的最小粒度单元,也就是通过聚合主键信息这个唯一标识可以唯一锁定到某一业务数据。聚合主键信息可以由联合主键构成,如个贷这条业务数据的聚合主键信息可以由贷款账号+产品+合同+借据构成。
根据聚合主键信息及数据湖中集中存储的业务数据中的属性信息及维度信息可以进行主题聚合,生成主题数据。主题聚合是指将聚合主键信息、属性信息及维度信息组合起来,加以提炼,保证以相对较少的数据量实现信息展示,满足更多的上层应用对营销数据的应用需求。举例而言,这些上层应用可以包括但不限于风险评估系统及理财管理系统等。另一方面,属性信息可以描述业务数据的特征,可以根据应用需求在聚合主键信息的基础上尽可能加以扩充,以体现更多的业务数据特征,或称业务元素。这些业务数据特征可能在后续被使用到。维度信息可以展现客户在某一业务种类内部所持有的不同金融产品的数量,这些数量可以根据业务数据按照一定频度在一定范围内进行统计,进行信息汇总而得。
从上述描述可知,本申请提供一种数据共享方法,能够根据所述数据湖中的所述业务数据生成营销主题数据。
参见图4,根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据,包括:
S401:根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
S402:根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
S403:根据所述知识图谱及所述索引生成所述营销知识数据。
可以理解的是,为了生成知识数据,银行系统可以建立集团信息库,也就是银行系统的信息库。该信息库负责采集和集中存储银行系统内的非结构化业务数据的信息标签及它们与各业务实体之间的关系,并为它们建立用于数据检索的索引,实现非结构化业务数据信息标签的集中管理、信息检索及价值挖掘。这些业务实体可以包括但不限于代理交易费率信息、代理交易台账信息、代理交易佣金信息、基金成本参数管理及审批流程模型信息等。集团信息库可以提供基于这些非结构化业务数据信息标签及业务实体的通用知识图谱服务及数据搜索服务等,背后支撑这些服务的是根据知识图谱及索引生成的知识数据。
其中,知识图谱本质上是一种基于图结构的语义知识库,它可以以符号形式描述物理世界中的概念及各个概念彼此之间的联系。知识图谱的基本组成单位是“实体-关系-实体”三元组。另外,实体及其相关属性可以组成“-值对”,实体之间通过关系相互联结,构成网状的知识结构。在知识图谱中,每个节点表示现实世界的“实体”,每条边为实体与实体之间的“关系”。本申请实施例中,可以根据获取到的数据湖中集中存储的业务数据中的各非结构化数据生成知识图谱,这个知识图谱可以是通用金融知识图谱,它以跨领域、可共享为特点,形成银行系统内部通用的数据基础服务,为各业务系统提供通用的数据服务。在本申请的一实施例中,通用金融知识图谱可基于集团信息库开展,其数据架构以当事人、账户、事件、地理位置等几大主题作为基础进行建设,形成了各业务领域可共享的标准知识图谱。在另一实施例中,建立索引可以助于实现数据搜索功能,也就是指集团信息库由内对外提供对业务数据的搜索查找功能。各业务系统可以根据自身需要查找有价值的业务数据。
从上述描述可知,本申请提供一种数据共享方法,能够根据所述数据湖中集中存储的所述业务数据生成知识数据。
参见图5,所述根据所述营销主题数据生成通用共享数据,包括:
S501:根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
可以理解的是,根据数据湖中实时更新的业务数据,可以通过信息检索的方式,提取客户实时发生变动的财务信息、行为信息、位置信息等。这些信息共同构成了客户画像,更新这些信息可以理解为更新客户画像数据。有了实时更新的客户画像数据,营销系统即可以随时掌握客户动态,为客户做出更好的营销推荐。
S502:根据所述营销主题数据及所述客户画像数据生成经营指标数据;
可以理解的是,在银行系统中,不同业务往往有着不同的营销指标,这些营销指标通常根据银行系统自身的营销需求进行设立。举例而言,金融资产期望达到多少亿元人民币或中间业务收入期望达到多少亿元人民币等。业务人员或管理人员可以利用计算机程序,基于这些营销指标,根据前面生成的主题数据、客户画像数据及数据湖中原始的业务数据提取出符合银行系统专业标准的关键业务数据,例如存款余额及贷款余额等。这一过程也可理解为进行业务数据加工,进而形成包括存款余额及贷款余额等核心营销指标在内的经营指标数据。
S503:根据所述客户画像数据及所述经营指标数据生成通用共享数据。
可以理解的是,由于客户画像数据及经营指标数据中都含有一些银行系统内各业务系统通用的资讯,也就是业务数据,因此在建立通用共享数据服务时,可以对客户画像数据及经营指标数据进行提取,根据银行系统内各业务系统的实际需求为其提供通用共享数据服务。
从上述描述可知,本申请提供一种数据共享方法,能够根据所述营销主题数据生成通用共享数据。
一实施例中,所述根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据,包括:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
可以理解的是,专业共享数据服务以专业金融知识图谱为支撑,以深度化及差异化为特性,建成之后又可以反哺通用金融知识图谱。基于银行系统内部统一的专业领域数据标准去沉淀专业数据资产,形成公共数据组件,以提供专业共享数据服务,能够快速响应业务需求。本申请的一实施例中,银行系统可以基于风险、渠道、个金、对公、信贷、互联网、信用卡等不同专业领域的特点,分别为其打造专业共享数据服务。专业共享数据服务的背后支撑来源于对主题数据、知识数据及通用共享数据服务中的通用共享数据进行的提取及归类。其中,提取及归类时需针对不同的专业领域分别进行。专业共享数据服务的提供模式可以包括但不限于联机接口、即席分析、批量数据服务、图谱查询、灵活查询、带界面的数据服务、表调用等。
在针对各不同的专业领域建立好专业共享数据服务后,银行系统内的各业务系统都能实时调用通用共享数据服务及专业共享数据服务,以共享、复用、创新为目标,实现低成本转换及标准化输出,形成专业级的共享数据服务,更好地满足银行系统内部的业务创新需要,支撑银行业务开放生态创新建设。
从上述描述可知,本申请提供一种数据共享方法,能够根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
基于同一发明构思,本申请实施例还提供了一种数据共享方法及装置,可以用于实现上述实施例所描述的方法,如下面的实施例所述。由于数据共享装置解决问题的原理与数据共享方法相似,因此数据共享装置的实施可以参见基于软件性能基准确定方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
参见图6,为了能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,本申请提供一种数据共享装置,包括:入湖单元601、主题知识生成单元602、通用数据生成单元603及专业数据生成单元604。
入湖单元601,用于将获取到的各业务系统中的业务数据集中存储至数据湖;
主题知识生成单元602,用于根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
通用数据生成单元603,用于根据所述营销主题数据生成通用共享数据;
专业数据生成单元604,用于根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
参见图7,所述入湖单元601,包括:日志更新模块701、队列建立模块702及贴源复制模块703。
日志更新模块701,用于根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
队列建立模块702,用于根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
贴源复制模块703,用于将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
参见图8,所述主题知识生成单元602,包括:主键信息建立模块801及主题数据生成模块802。
主键信息建立模块801,用于根据营销需求建立聚合主键信息;
主题数据生成模块802,用于根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
参见图9,所述主题知识生成单元602,包括:知识图谱生成模块901、索引建立模块902及知识数据生成模块903。
知识图谱生成模块901,用于根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
索引建立模块902,用于根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
知识数据生成模块903,用于根据所述知识图谱及所述索引生成所述营销知识数据。
参见图10,所述通用数据生成单元603,包括:画像生成模块1001、经营指标生成模块1002及通用数据生成模块1003。
画像生成模块1001,用于根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
经营指标生成模块1002,用于根据所述营销主题数据及所述客户画像数据生成经营指标数据;
通用数据生成模块1003,用于根据所述客户画像数据及所述经营指标数据生成通用共享数据。
所述专业数据生成单元604,具体用于:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
从硬件层面来说,为了能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,本申请提供一种用于实现所述数据共享方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
处理器(Processor)、存储器(Memory)、通讯接口(Communications Interface)和总线;其中,所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯;所述通讯接口用于实现所述数据共享装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输;该逻辑控制器可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该逻辑控制器可以参照实施例中的数据共享方法的实施例,以及数据共享装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
可以理解的是,所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中,数据共享方法的部分可以在如上述内容所述的电子设备侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通讯模块(即通讯单元),可以与远程的服务器进行通讯连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图11是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,数据共享方法功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
S101:将获取到的各业务系统中的业务数据集中存储至数据湖;
S102:根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
S103:根据所述营销主题数据生成通用共享数据;
S104:根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
从上述描述可知,本申请提供的数据共享方法,能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,形成标准统一的共享数据服务,促进银行内部各子系统中的业务数据在各产品系统中快速转化应用,以快速响应银行业务的创新需求,赋能银行服务生态体系建设,提升服务效能。
在另一个实施方式中,数据共享装置可以与中央处理器9100分开配置,例如可以将数据复合传输装置数据共享装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现数据共享方法的功能。
如图11所示,该电子设备9600还可以包括:通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图11中所示的所有部件;此外,电子设备9600还可以包括图11中没有示出的部件,可以参考现有技术。
如图11所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通讯终端的情况相同。
基于不同的通讯技术,在同一电子设备中,可以设置有多个通讯模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数据共享方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的数据共享方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S101:将获取到的各业务系统中的业务数据集中存储至数据湖;
S102:根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
S103:根据所述营销主题数据生成通用共享数据;
S104:根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
从上述描述可知,本申请提供的数据共享方法,能够在数据湖的基础上建立通用数据共享服务及专业数据共享服务,形成标准统一的共享数据服务,促进银行内部各子系统中的业务数据在各产品系统中快速转化应用,以快速响应银行业务的创新需求,赋能银行服务生态体系建设,提升服务效能。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种数据共享方法,其特征在于,包括:
将获取到的各业务系统中的业务数据集中存储至数据湖;
根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
根据所述营销主题数据生成通用共享数据;
根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
2.根据权利要求1所述的数据共享方法,其特征在于,所述将获取到的各业务系统中的业务数据集中存储至数据湖,包括:
根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
3.根据权利要求1所述的数据共享方法,其特征在于,所述根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据,包括:
根据营销需求建立聚合主键信息;
根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
4.根据权利要求1所述的数据共享方法,其特征在于,所述根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据,包括:
根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
根据所述知识图谱及所述索引生成所述营销知识数据。
5.根据权利要求1所述的数据共享方法,其特征在于,所述根据所述营销主题数据生成通用共享数据,包括:
根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
根据所述营销主题数据及所述客户画像数据生成经营指标数据;
根据所述客户画像数据及所述经营指标数据生成通用共享数据。
6.根据权利要求1所述的数据共享方法,其特征在于,所述根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据,包括:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
7.一种数据共享装置,其特征在于,包括:
入湖单元,用于将获取到的各业务系统中的业务数据集中存储至数据湖;
主题知识生成单元,用于根据所述数据湖中的所述业务数据生成营销主题数据及营销知识数据;
通用数据生成单元,用于根据所述营销主题数据生成通用共享数据;
专业数据生成单元,用于根据所述营销主题数据、所述营销知识数据及所述通用共享数据生成专业共享数据。
8.根据权利要求7所述的数据共享装置,其特征在于,所述入湖单元,包括:
日志更新模块,用于根据获取到的各业务系统中的业务数据实时修改对应数据日志信息;
队列建立模块,用于根据所述实时修改的数据日志信息将所述业务数据以贴源的方式复制到高性能分布式消息队列;
贴源复制模块,用于将所述高性能分布式消息队列中的队列数据以贴源的方式复制到数据湖进行集中存储。
9.根据权利要求7所述的数据共享装置,其特征在于,所述主题知识生成单元,包括:
主键信息建立模块,用于根据营销需求建立聚合主键信息;
主题数据生成模块,用于根据所述聚合主键信息及所述数据湖中的所述业务数据中的属性信息及维度信息进行主题聚合,生成所述营销主题数据。
10.根据权利要求7所述的数据共享装置,其特征在于,所述主题知识生成单元,包括:
知识图谱生成模块,用于根据获取到的所述数据湖中的所述业务数据中的各非结构化数据生成知识图谱;
索引建立模块,用于根据所述数据湖中的所述业务数据中的各非结构化数据的唯一特征建立索引;
知识数据生成模块,用于根据所述知识图谱及所述索引生成所述营销知识数据。
11.根据权利要求7所述的数据共享装置,其特征在于,所述通用数据生成单元,包括:
画像生成模块,用于根据所述数据湖中的所述业务数据及所述营销主题数据生成客户画像数据;
经营指标生成模块,用于根据所述营销主题数据及所述客户画像数据生成经营指标数据;
通用数据生成模块,用于根据所述客户画像数据及所述经营指标数据生成通用共享数据。
12.根据权利要求7所述的数据共享装置,其特征在于,所述专业数据生成单元,具体用于:
按照预先划分的专业领域对所述营销主题数据、所述营销知识数据及所述通用共享数据进行提取及归类,生成专业共享数据。
13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的数据共享方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的数据共享方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011318374.XA CN112417018B (zh) | 2020-11-23 | 2020-11-23 | 一种数据共享方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011318374.XA CN112417018B (zh) | 2020-11-23 | 2020-11-23 | 一种数据共享方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112417018A true CN112417018A (zh) | 2021-02-26 |
CN112417018B CN112417018B (zh) | 2023-09-22 |
Family
ID=74778247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011318374.XA Active CN112417018B (zh) | 2020-11-23 | 2020-11-23 | 一种数据共享方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112417018B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115809249A (zh) * | 2023-02-03 | 2023-03-17 | 杭州比智科技有限公司 | 一种基于专有化数据集的数据湖管理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536778A (zh) * | 2018-03-29 | 2018-09-14 | 客如云科技(成都)有限责任公司 | 一种数据应用共享平台及方法 |
CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
CN111367984A (zh) * | 2020-03-11 | 2020-07-03 | 中国工商银行股份有限公司 | 高时效的数据加载入数据湖的方法及系统 |
CN111460236A (zh) * | 2020-04-26 | 2020-07-28 | 天津七一二通信广播股份有限公司 | 基于数据湖的大数据采集治理快速检索系统 |
CN111949643A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 基于业务建模的数据处理方法及系统 |
-
2020
- 2020-11-23 CN CN202011318374.XA patent/CN112417018B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108536778A (zh) * | 2018-03-29 | 2018-09-14 | 客如云科技(成都)有限责任公司 | 一种数据应用共享平台及方法 |
CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
CN111367984A (zh) * | 2020-03-11 | 2020-07-03 | 中国工商银行股份有限公司 | 高时效的数据加载入数据湖的方法及系统 |
CN111460236A (zh) * | 2020-04-26 | 2020-07-28 | 天津七一二通信广播股份有限公司 | 基于数据湖的大数据采集治理快速检索系统 |
CN111949643A (zh) * | 2020-08-14 | 2020-11-17 | 中国工商银行股份有限公司 | 基于业务建模的数据处理方法及系统 |
Non-Patent Citations (1)
Title |
---|
杨勇等;: "梦想云数据连环湖建设研究", 中国石油勘探, vol. 25, no. 5, pages 82 - 88 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115809249A (zh) * | 2023-02-03 | 2023-03-17 | 杭州比智科技有限公司 | 一种基于专有化数据集的数据湖管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112417018B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130275229A1 (en) | Apparatus and method for universal personal data portability | |
US10599985B2 (en) | Systems and methods for expediting rule-based data processing | |
CN113392158A (zh) | 业务数据处理方法、装置及数据中台 | |
CN111949643A (zh) | 基于业务建模的数据处理方法及系统 | |
CN111897890B (zh) | 金融业务处理方法及装置 | |
CN112181678A (zh) | 业务数据的处理方法、装置和系统、存储介质、电子装置 | |
CN110197426A (zh) | 一种信用评分模型的建立方法、装置及可读存储介质 | |
CN115082203A (zh) | 生息方案推送方法、装置、电子设备及存储介质 | |
US20210349920A1 (en) | Method and apparatus for outputting information | |
CN110737425B (zh) | 一种计费平台系统的应用程序的建立方法及装置 | |
CN112417018B (zh) | 一种数据共享方法及装置 | |
CN110086894A (zh) | 人员关联信息挖掘方法、通讯推荐方法及相关装置 | |
CN112035676A (zh) | 用户操作行为知识图谱构建方法及装置 | |
CN115495519A (zh) | 报表数据加工方法及装置 | |
CN114416026A (zh) | 业务需求分析系统、方法、计算机设备和存储介质 | |
CN112418929B (zh) | 一种数据共享方法及装置 | |
CN113382075A (zh) | 企业信息管理平台、管理方法、电子设备及存储介质 | |
CN112329047A (zh) | 隐私数据加密查询方法及装置 | |
CN111930690A (zh) | 文件生成方法及装置 | |
US11275782B2 (en) | Digital systems and methods for a consolidated transfer matrix | |
US20230289651A1 (en) | Dynamic information reduction using a velocity based machine learning model | |
CN117076527A (zh) | 数据传输方法、装置、计算机设备、存储介质和程序产品 | |
CN111353765A (zh) | 基于数据挖掘的外呼方法及装置 | |
CN115658076A (zh) | 一种程序关联性分析方法及装置 | |
CN115063223A (zh) | 低代码征信报送数据组装方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |