CN117076527A - 数据传输方法、装置、计算机设备、存储介质和程序产品 - Google Patents
数据传输方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN117076527A CN117076527A CN202310827462.XA CN202310827462A CN117076527A CN 117076527 A CN117076527 A CN 117076527A CN 202310827462 A CN202310827462 A CN 202310827462A CN 117076527 A CN117076527 A CN 117076527A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- center
- dimension
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 22
- 230000003993 interaction Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 238000013481 data capture Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000011161 development Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004931 aggregating effect Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及分布式技术领域,特别是涉及一种数据传输方法、装置、计算机设备、存储介质和程序产品。所述方法包括:获取共享数据,所述共享数据是指汇聚业务中心生成的源数据所形成的数据;对所述共享数据进行处理,以分别形成与所述业务中心的各业务相匹配的各业务数据;通过与所述业务中心一一对应的业务接口,将与所述业务中心的业务需求相匹配的所述业务数据对应传输至所述业务中心。采用本方法能够提高数据传输的准确性,加快数据传输的速度,进而提高数据传输的效率。
Description
技术领域
本申请涉及分布式技术领域,特别是涉及一种数据传输方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
随着分布式技术的发展,数据传输技术亦得以完善。但传统的数据传输技术仍存在数据传输效率低的不足。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据传输效率的数据传输方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据传输方法。数据传输方法包括:
获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据;
对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据;
通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。
在其中一个实施例中,共享数据的形成方式,包括:
通过直连同步或数据文件同步的方式,获取业务中心生成的源数据;直连同步是指通过同步接口或动态链接库的方式直连包含源数据的数据源,以获取源数据;数据文件同步是指通过文件系统加载以预设的数据文件格式所呈现的源数据,以获取源数据;
通过批量导入、接口集成和基于日志的变化数据捕获CDC中的至少一种方式,将获取的源数据进行汇聚。
在其中一个实施例中,对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据,包括:
根据预设的分析模型对共享数据进行分析,以获取共享数据对应的业务类型;
根据预设的业务模型和业务类型对共享数据进行分类,以分别形成与业务中心的各业务相匹配的各业务数据。
在其中一个实施例中,业务类型包括客户类型、账户类型、资源交互类型、产品类型、风控类型、资产类型中的至少一种;业务模型包括客户维度分类模型、账户维度分类模型、资源交互维度分类模型、产品维度分类模型、风控维度分类模型、资产维度分类模型中的至少一种;业务数据是指按照客户维度、账户维度、资源交互维度、产品维度、风控维度、资产维度中的至少一种分类维度,对共享数据进行分类所形成的数据;
其中,业务类型、业务模型和对共享数据进行分类的分类维度相对应。
在其中一个实施例中,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心之前,包括:
若判断业务中心具有与业务需求相匹配的业务数据的调用权限,则执行将与业务中心的业务需求相匹配的业务数据对应传输至业务中心的步骤。
在其中一个实施例中,数据传输方法还包括:
对源数据、共享数据、业务数据中的至少一种进行数据去重,以形成去重后的对应的源数据、共享数据或业务数据。
第二方面,本申请还提供了一种数据传输装置,数据传输装置包括:
数据获取模块,用于获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据;
数据处理模块,用于对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据;
数据传输模块,用于通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述数据传输方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,获取汇聚业务中心生成的源数据所形成的共享数据,并对共享数据进行处理,通过将各业务中心生成的源数据进行统一处理,避免各业务中心出现数据孤岛的情况,有利于提高数据的复用效率和协同效率。进而,对共享数据处理后分别形成与业务中心的各业务相匹配的各业务数据,即,若业务中心预想办理业务,则只需获取与该业务相匹配的业务数据。进一步地,将与业务中心的业务需求相匹配的业务数据,通过与业务中心一一对应的业务接口,对应传输至业务中心。采用上述数据传输方法,在各业务中心需要获取与业务相匹配的业务数据之前,提前形成并存储好业务数据,而无需根据业务中心的业务需求临时形成相匹配的业务数据,能够加快数据传输速度;更进一步地,各业务中心结合自身业务特性开发了自己的业务接口,通过与各业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据一对一传输至业务中心,实现业务数据与业务中心的专项传输,而无需将业务数据经同一个业务接口传输至多个业务中心,能够提高数据传输的准确性,加快数据传输的速度,进而提高数据传输的效率。
附图说明
图1为一个实施例中数据传输方法的应用环境图;
图2为一个实施例中数据传输方法的流程示意图之一;
图3为一个实施例中共享数据的形成方式的流程示意图;
图4为一个实施例对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据的流程示意图;
图5为一个实施例中数据传输方法的流程示意图之二;
图6为一个实施例中数据传输方法的流程示意图之三;
图7为一个实施例中数据传输方法的流程示意图之四;
图8为一个实施例中数据传输装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了便于理解本申请实施例,下面将参照相关附图对本申请实施例进行更全面的描述。附图中给出了本申请实施例的首选实施例。但是,本申请实施例可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本申请实施例的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本文中在本申请实施例的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请实施例。
在使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”指定所陈述的特征、整体、步骤、操作、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、部分或它们的组合的可能性。同时,在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。
传统的基于分布式的数据传输技术日益完善,但仍存在数据传输效率低的不足,原因主要体现在:其一,不同的业务中心可能存在数据孤岛的情形。数据孤岛是指企业的各业务中心都有各自数据,业务中心之间的数据往往都各自存储,各自定义,因此,每个业务中心的数据就像一个孤岛一样,极其困难和企业内部的其他数据进行连接互动,简而言之,则是指数据之间缺乏关联性、数据库之间彼此不兼容。各业务中心建立和开发自身业务,形成并使用自身数据,较难周全与其他业务中心的业务进行对接,各业务中心的数据不完整,数据之间亦会存在差异、较难统一。此时,各部门数据独立,若需使用其他部门的数据,则需要花费大量时间协调其他业务中心提供,或者自己进行重复建设以满足内需等,进而会导致数据传输效率低、数据复用率低、数据开发效率低等系列问题。传统技术中,亦存在部分行业、部分企业开发建造一个统一的数据中台,以将各业务中心的数据进行统一处理,进而提高数据的复用率、共享率、开发效率,传统的数据中台的建造使得数据传输效率有所改善,但也仍具有进一步提升的空间。亦即,数据传输效率低的其二原因为,传统技术中建造的数据中台对数据进行统一处理后,将数据对应传输至各业务中心的方式存在不足。本申请实施例以银行业为例,提供一种应用于如图1所示的应用环境中的数据传输方法,通过建造数据中台,并完善将数据传输至各业务中心的方式,以加快数据传输速度、提升数据传输效率。需要说明的是,本申请实施例的数据传输方法并不限于应用于银行业、及不限于应用于如图1所示的应用环境中。
如图2所示,本申请实施例提供一种数据传输方法。数据传输方法包括以下步骤210至步骤230。
步骤210,获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据。示例性地,在银行业中,如图1所示,业务中心包括但不限于客户中心、产品中心、权益中心、账户中心、营销中心、清算中心、资源交互中心,业务中心亦可为其中一个或多个。具体地,以分布式系统基础构架Hadoop为基础,构建统一的数据中台,数据中台获取将各业务中心生成的源数据进行汇聚所形成的共享数据。
步骤220,对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据。具体地,各业务中心具有各自的多项业务,各项业务对应不同的业务数据,数据中台对共享数据进行处理,以分别形成与各业务相匹配的业务数据,形成统一的数据资产体系。数据中台作为数据源服务于各业务中心,使各业务中心可根据自身的业务需求,从数据中台的数据资产体系中调用与业务需求相匹配的业务数据。通过数据中台对共享数据进行统一处理,能够避免各业务中心出现数据孤岛的情形,避免各业务中心需耗时耗力以协调其他业务中心提供数据,或各业务中心重复建设相同的数据等情形,一份业务数据可以被传输至多个业务中心,提高了数据的共享率、协同率、复用率和开发效率,有利于提高数据传输的效率。
需要注意的是,数据中台形成并存储的业务数据由各业务中心进行维护,具体地,各业务中心对业务数据中,自身所生成的那部分源数据进行维护,其他业务中心在调用或使用业务数据时,若认为业务数据需要修改或更新,亦只能通过生成对应的源数据的业务中心进行数据维护。业务中心对数据维护成功后,再将其作为源数据返回,进而数据中台获取汇聚了维护后的源数据所形成的共享数据,并对共享数据进行处理,以形成维护后的业务数据。
步骤230,通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。如图1所示,根据业务中心使用的应用程序或设备的不同,数据中台提供四种类型的接口以进行准确、快速地通信连接,其中,表现层状态转换应用编程接口REST API是针对使用电脑端进行通信连接;原生态应用编程接口NATIVE API是针对使用手机端进行通信连接;流式接口STREAMING API是针对基于数据流进行通信连接;结构查询语言应用编程接口SQL API是针对基于结构查询语言SQL进行通信连接。各业务中心根据使用的应用程序或设备,选择调用其中一种类型的接口与数据中台进行准确、快速地通信连接,而在上述各类型接口中,均存在与各业务中一一对应的业务接口,如业务应用编程接口API。无论业务中心通过何种类型的接口与数据中台进行通信连接,均可以调用自身专属的一个业务API,以进行业务数据的快速、准确、高效调用。
示例性地,如图1所示,若客户中心预想开发客户管理的业务,客户中心可以通过电脑端与数据中台建立通信连接,即业务中心选择调用数据中台的REST API,进而,通过调用REST API中的自身专属的业务API,以获取与客户管理业务需求相匹配的客户管理业务数据。于数据中台而言,则是通过REST API中的与客户中心对应的业务API,将与客户中心的客户管理业务需求相匹配的客户管理业务数据,对应传输至客户中心。
示例性地,若客户中心具有多项业务需求,即需获取多项业务数据,则可基于自身专属的业务API,通过网关KONG等方式管理,根据多项业务需求调用对应的多项业务数据,相应地,数据中台通过与客户中心对应的业务API,将与多项业务需求相匹配的多项业务数据快速、准确且高效传输至业务中心。
在本实施例中,在各业务中心需要获取与业务相匹配的业务数据之前,提前形成并存储好业务数据,而无需根据业务中心的业务需求临时形成相匹配的业务数据,能够加快数据传输速度;更进一步地,各业务中心结合自身业务特性,在数据中台开发了自己的业务接口,数据中台通过与各业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据一对一传输至业务中心,实现业务数据与业务中心的专项传输,而无需将业务数据经同一个业务接口传输至多个业务中心,能够提高数据传输的准确性,加快数据传输的速度,进而提高数据传输的效率。
如图3所示,在其中一个实施例中,共享数据的形成方式包括以下步骤310至步骤320。
步骤310,通过直连同步或数据文件同步的方式,获取业务中心生成的源数据;直连同步是指通过同步接口或动态链接库的方式直连包含源数据的数据源,以获取源数据;数据文件同步是指通过文件系统加载以预设的数据文件格式所呈现的源数据,以获取源数据。
步骤320,通过批量导入、接口集成和基于日志的变化数据捕获CDC中的至少一种方式,将获取的源数据进行汇聚。
具体地,数据中台获取到的共享数据,是先由数据采集模块予以实时获取及汇聚所形成,数据采集模块包括数据同步单元和数据汇聚单元。示例性地,如图1所示,各业务中心生成的源数据,可以存储在企业数据仓库EDW、分布式系统基础构架Hadoop、文本格式TXT、逗号分隔值文件格式CSV、关系数据库Oracle等类型的数据源中。数据采集模块中的数据同步单元,从上述数据源中,基于开源流处理平台及数据仓库工具Kafka Kettle、计算引擎Spark ETL、数据集成工具Talend等技术,通过直连同步或数据文件同步的数据同步方式,实时且准确地获取各业务中心生成的源数据。进而,根据数据源的不同类型,数据采集模块中的数据汇聚单元,将数据同步单元所实时获取的源数据,通过批量导入、接口集成或基于日志的CDC进行汇聚,以形成共享数据。若数据源类型为EDW、Hadoop、TXT或CSV,则通过批量导入的方式;若数据源类型为Legacy或LoT,则通过接口集成的方式,如API集成;若数据源类型为Posgres、SQL Server或Oracle,则通过基于日志的CDC的方式。其中,共享数据存储在数据采集模块的数据库中,此数据库具有灵活多变性,具有高并发低延迟的环境,具有海量的存储能力和支持多结构的能力,能够存储丰富的共享数据。进而,数据采集模块将共享数据传输至数据中台,对应地,数据中台获取到共享数据。
在本实施例中,数据采集模块中的数据同步单元,实时且准确地将各业务中心所生成的数据同步至数据采集模块,进而由数据汇聚单元进行汇聚以形成共享数据,有利于提高数据中台获取共享数据的准确性和实时性,进而提高数据传输效率。
如图4所示,在其中一个实施例中,上述步骤220,对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据包括以下步骤410至步骤420。
步骤410,根据预设的分析模型对共享数据进行分析,以获取共享数据对应的业务类型。其中,分析模型包括标签库和推荐模型。
步骤420,根据预设的业务模型和业务类型对共享数据进行分类,以分别形成与业务中心的各业务相匹配的各业务数据。
具体地,如图1所示,数据中台进行共享数据的建模和分类,数据中台包括贴源层、分析层和业务层。数据中台的贴源层从数据采集模块中获取共享数据,并同时传输至分析层和业务层。进而,业务层根据预设的标签库和推荐模型,对共享数据进行分析处理,以获取共享数据对应的业务类型。
示例性地,共享数据为客户信息,分析层对客户信息进行分析处理,基于标签库,分析客户消费能力并对客户打标签,基于推荐模型,分析客户日常浏览基金信息、浏览应用程序功能的频率等,并为客户针对性推荐,进而,通过打标签和推荐,对整体情况进行判断后获取客户类型和账户类型。在本示例中,分析层获取的业务类型则为客户类型和账户类型。其中,客户类型包括普通、金卡、白金、黑金、钻石、私人银行等;账户类型为客户名下卡的账户类型,包括个人养老金账户、铁路一卡通账户、外币账户等;
继而,分析层将获取到的业务类型传输至业务层,业务层则根据获取到的业务类型和业务模型,对贴源层传输的共享数据进行分类,以分别形成与业务中心的各业务相匹配的各业务数据。其中,贴源层传输至业务层的共享数据,也可以是经数据运算建模操作后所形成的共享数据。
在其中一个实施例中,业务类型包括客户类型、账户类型、资源交互类型、产品类型、风控类型、资产类型中的至少一种;业务模型包括客户维度分类模型、账户维度分类模型、资源交互维度分类模型、产品维度分类模型、风控维度分类模型、资产维度分类模型中的至少一种;业务数据是指按照客户维度、账户维度、资源交互维度、产品维度、风控维度、资产维度中的至少一种分类维度,对共享数据进行分类所形成的数据。其中,业务类型、业务模型和对共享数据进行分类的分类维度相对应。资源交互类型包括资源交互的频率类型、每次资源交互的额度类型、资源交互的产品类型等。
示例性地,分析层将客户类型和账户类型传输至业务层,业务模型则至少包括客户维度分类模型和账户维度分类模型,基于客户类型和客户维度分类模型、账户类型和账户维度分类模型,对为客户信息的共享数据分别按照客户维度和账户维度进行分类,以形成业务数据。
示例性地,若分析层将产品类型和风控类型传输至业务层,业务模型则至少包括产品维度分类模型和风控维度分类模型,基于上述业务类型和上述业务模型,对为客户信息的共享数据分别按照产品维度和风控维度进行分类,以形成业务数据。
需要注意的是,数据中台还包括数据治理单元和数据服务单元,数据治理单元和数据服务单元在数据中台对共享数据进行建模分类,以形成各业务数据的过程中发挥重要功能。具体地,数据治理单元基于数据治理技术Apache Atlas,针对数据中台所形成的的数据资产体系的管理行使职权,对数据中台中各组成部分进行决策权和职责的分工,使数据中台内部协调运转,保障数据在各组成部分之间传输的稳定性。数据服务单元基于开放源代码的应用程序框架Spring,在数据中台中对各类数据提供数据采集、数据传输、数据存储、数据处理、数据交换、数据销毁等操作,以保障数据的准确性、安全性等。
在本实施例中,数据中台将各业务中心生成的源数据进行统一分析处理,经对共享数据进行数据建模和分类,按照客户维度、账户维度、产品维度等将共享数据分类,以形成与业务中心的各业务相匹配的各业务数据,形成统一的数据资产体系,有利于提高数据的共享率、协同率、复用率和开发效率,有利于加快数据传输速度,提高数据传输的效率。
如图5所示,在其中一个实施例中,数据传输方法还包括以下步骤510至步骤540。其中,步骤510、步骤520和步骤540,分别与前述实施例中步骤110至步骤130一一对应,本实施例的步骤510、步骤520和步骤540可分别参照前述实施例的论述,此处不再赘述。
步骤510,获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据。
步骤520,对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据。
步骤530,若判断业务中心具有与业务需求相匹配的业务数据的调用权限,则执行将与业务中心的业务需求相匹配的业务数据对应传输至业务中心的步骤。具体地,为保障数据传输的安全性、数据的保密性,避免数据泄露等,各业务中心基于自身专属的业务接口,可以且仅可以调用与自身业务相匹配的业务数据,无权限调用非自身业务范围内所涉及的业务数据。基于此,数据中台中提前预置了各业务中心对各业务数据的调用权限,此调用权限与各业务中心的业务范围相对应。若判断业务中心具有与业务需求相匹配的业务数据的调用权限,则数据中台执行步骤540;若判断无对应权限,数据中台则不将相应业务数据传输至业务中心。
示例性地,针对一个业务中心的不同级别用户,亦可以在数据中台中预置各级别用户对所属业务中心对应的业务数据的调用权限。如甲业务中心包括A业务和B业务,因此甲业务中心可以对应调用A业务数据和B业务数据,但甲业务中心的普通职员只有调用A业务数据的权限,高级职员才具有调用A业务数据和B业务数据的权限。进而,若判断级别用户具有相应业务数据的调用权限,则数据中台执行步骤540。
步骤540,通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。
在本实施例中,通过设置调用权限的验证,当判断业务中心具有与业务需求相匹配的业务数据的调用权限时,数据中台才通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心,有利于保障数据的保密性和数据传输的安全性。
如图6所示,在其中一个实施例中,数据传输方法还包括以下步骤610至步骤640。其中,步骤610至步骤630,分别与前述实施例中步骤110至步骤130一一对应,本实施例的步骤610至步骤630可分别参照前述实施例的论述,此处不再赘述。
步骤610,获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据。
步骤620,对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据。
步骤630,通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。
步骤640,对源数据、共享数据、业务数据中的至少一种进行数据去重,以形成去重后的对应的源数据、共享数据或业务数据。因各业务中心所生成的源数据可能存在重复,汇聚各源数据所形成的共享数据、将共享数据进行分类所形成的各业务数据亦均可能存在重复,因此,有必要对数据采集模块和数据中台中的各数据进行数据去重,剔除重复的数据。
示例性地,如图1所示,除对源数据、共享数据、业务数据等数据进行数据去重,本实施例中还可以对上述数据进行数据治理、数据质量提升、数据目录编制、数据同步、数据开发、数据建模等一系列数据处理,以获取更精准、更直观、更有效的各类数据。其中,数据质量提升是指使数据能符合客户使用目的、能满足各类业务需求;数据目录编制是指编制所有数据的资产清单。
在本实施例中,对源数据、共享数据或业务数据进行系列数据处理,以获取更精准、更直观、更有效的各类数据,进而,以进行数据处理后所形成的数据,进行汇聚、建模、分类、传输等,有利于提高数据传输的准确性。
如图7所示,在其中一个实施例中,数据传输方法还包括以下步骤710至步骤760。
步骤710,获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据。其中,共享数据的形成方式,包括:通过直连同步或数据文件同步的方式,获取业务中心生成的源数据;直连同步是指通过同步接口或动态链接库的方式直连包含源数据的数据源,以获取源数据;数据文件同步是指通过文件系统加载以预设的数据文件格式所呈现的源数据,以获取源数据;通过批量导入、接口集成和基于日志的变化数据捕获CDC中的至少一种方式,将获取的源数据进行汇聚。步骤720,根据预设的分析模型对共享数据进行分析,以获取共享数据对应的业务类型。步骤730,根据预设的业务模型和业务类型对共享数据进行分类,以分别形成与业务中心的各业务相匹配的各业务数据。其中,业务类型包括客户类型、账户类型、资源交互类型、产品类型、风控类型、资产类型中的至少一种;业务模型包括客户维度分类模型、账户维度分类模型、资源交互维度分类模型、产品维度分类模型、风控维度分类模型、资产维度分类模型中的至少一种;业务数据是指按照客户维度、账户维度、资源交互维度、产品维度、风控维度、资产维度中的至少一种分类维度,对共享数据进行分类所形成的数据;业务类型、业务模型和对共享数据进行分类的分类维度相对应。步骤740,若判断业务中心具有与业务需求相匹配的业务数据的调用权限,则执行将与业务中心的业务需求相匹配的业务数据对应传输至业务中心的步骤。步骤750,通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。步骤760,对源数据、共享数据、业务数据中的至少一种进行数据去重,以形成去重后的对应的源数据、共享数据或业务数据。需要注意的是,虽然图7中示出的步骤760,是本实施例中数据传输方法的最后一个步骤,但事实上,步骤760贯穿整个数据传输方法的执行过程中,步骤710至步骤750中涉及的源数据、共享数据或业务数据,均为执行了步骤760,即进行了数据去重后所形成的对应数据。
在本实施例中,在各业务中心需要获取与业务相匹配的业务数据之前,提前形成并存储好业务数据,而无需根据业务中心的业务需求临时形成相匹配的业务数据,能够加快数据传输速度;更进一步地,各业务中心结合自身业务特性,在数据中台开发了自己的业务接口,数据中台通过与各业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据一对一传输至业务中心,实现业务数据与业务中心的专项传输,而无需将业务数据经同一个业务接口传输至多个业务中心,能够提高数据传输的准确性,加快数据传输的速度,进而提高数据传输的效率。
除此以外,数据中台将各业务数据高效、精准地传输至对应的业务中心,有利于各业务中心进行内部数据消费,如图1所示,内部数据消费如基于业务数据进行精准营销、编制监管报表、建立数据大屏、进一步数据发现等;还有利于各业务中心使用对应的业务数据进行应用功能拓展,进行各类业务开发,如图1所示,业务开发如开发手机银行应用程序、金融应用程序、社交化系统、第三方资源交互平台、电脑端PC网银平台等。
应该理解的是,虽然如上所述的各实施例所涉及的流程示意图图2至图7中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程示意图图2至图7中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据传输方法的数据传输装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据传输装置实施例中的具体限定可以参见上文中对于数据传输方法的限定,在此不再赘述。
如图8所示,本申请实施例还提供了一种数据传输装置10,数据传输装置10包括数据获取模块11、数据处理模块12和数据传输模块13。数据获取模块11,用于获取共享数据,共享数据是指汇聚业务中心生成的源数据所形成的数据。数据处理模块12,用于对共享数据进行处理,以分别形成与业务中心的各业务相匹配的各业务数据。数据传输模块13,用于通过与业务中心一一对应的业务接口,将与业务中心的业务需求相匹配的业务数据对应传输至业务中心。
在其中一个实施例中,上述数据处理模块12包括业务类型获取单元和业务数据形成单元。业务类型获取单元,用于根据预设的分析模型对共享数据进行分析,以获取共享数据对应的业务类型。业务数据形成单元,用于根据预设的业务模型和业务类型对共享数据进行分类,以分别形成与业务中心的各业务相匹配的各业务数据。
在其中一个实施例中,上述数据传输装置10还包括权限判断模块,用于若判断业务中心具有与业务需求相匹配的业务数据的调用权限,则执行将与业务中心的业务需求相匹配的业务数据对应传输至业务中心的步骤。
在其中一个实施例中,上述数据传输装置10还包括数据去重模块,用于对源数据、共享数据、业务数据中的至少一种进行数据去重,以形成去重后的对应的源数据、共享数据或业务数据。
上述数据传输装置10中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
如图9所示,本申请实施例还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行所述计算机程序时实现上述数据传输方法的步骤。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图9中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述数据传输方法的步骤。
本申请实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述数据传输方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据传输方法,其特征在于,所述方法包括:
获取共享数据,所述共享数据是指汇聚业务中心生成的源数据所形成的数据;
对所述共享数据进行处理,以分别形成与所述业务中心的各业务相匹配的各业务数据;
通过与所述业务中心一一对应的业务接口,将与所述业务中心的业务需求相匹配的所述业务数据对应传输至所述业务中心。
2.根据权利要求1所述的方法,其特征在于,所述共享数据的形成方式,包括:
通过直连同步或数据文件同步的方式,获取所述业务中心生成的所述源数据;所述直连同步是指通过同步接口或动态链接库的方式直连包含所述源数据的数据源,以获取所述源数据;所述数据文件同步是指通过文件系统加载以预设的数据文件格式所呈现的所述源数据,以获取所述源数据;
通过批量导入、接口集成和基于日志的变化数据捕获CDC中的至少一种方式,将获取的所述源数据进行汇聚。
3.根据权利要求1所述的方法,其特征在于,所述对所述共享数据进行处理,以分别形成与所述业务中心的各业务相匹配的各业务数据,包括:
根据预设的分析模型对所述共享数据进行分析,以获取所述共享数据对应的业务类型;
根据预设的业务模型和所述业务类型对所述共享数据进行分类,以分别形成与所述业务中心的各所述业务相匹配的各所述业务数据。
4.根据权利要求3所述的方法,其特征在于,所述业务类型包括客户类型、账户类型、资源交互类型、产品类型、风控类型、资产类型中的至少一种;所述业务模型包括客户维度分类模型、账户维度分类模型、资源交互维度分类模型、产品维度分类模型、风控维度分类模型、资产维度分类模型中的至少一种;所述业务数据是指按照客户维度、账户维度、资源交互维度、产品维度、风控维度、资产维度中的至少一种分类维度,对所述共享数据进行分类所形成的数据;
其中,所述业务类型、所述业务模型和对所述共享数据进行分类的所述分类维度相对应。
5.根据权利要求1所述的方法,其特征在于,所述将与所述业务中心的业务需求相匹配的所述业务数据对应传输至所述业务中心之前,包括:
若判断所述业务中心具有与所述业务需求相匹配的所述业务数据的调用权限,则执行将与所述业务中心的业务需求相匹配的所述业务数据对应传输至所述业务中心的步骤。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
对所述源数据、所述共享数据、所述业务数据中的至少一种进行数据去重,以形成去重后的对应的所述源数据、所述共享数据或所述业务数据。
7.一种数据传输装置,其特征在于,所述装置包括:
数据获取模块,用于获取共享数据,所述共享数据是指汇聚业务中心生成的源数据所形成的数据;
数据处理模块,用于对所述共享数据进行处理,以分别形成与所述业务中心的各业务相匹配的各业务数据;
数据传输模块,用于通过与所述业务中心一一对应的业务接口,将与所述业务中心的业务需求相匹配的所述业务数据对应传输至所述业务中心。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827462.XA CN117076527A (zh) | 2023-07-06 | 2023-07-06 | 数据传输方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827462.XA CN117076527A (zh) | 2023-07-06 | 2023-07-06 | 数据传输方法、装置、计算机设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117076527A true CN117076527A (zh) | 2023-11-17 |
Family
ID=88701219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310827462.XA Pending CN117076527A (zh) | 2023-07-06 | 2023-07-06 | 数据传输方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117076527A (zh) |
-
2023
- 2023-07-06 CN CN202310827462.XA patent/CN117076527A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11979433B2 (en) | Highly scalable four-dimensional web-rendering geospatial data system for simulated worlds | |
CN107577805B (zh) | 一种面向日志大数据分析的业务服务系统 | |
US20200236168A1 (en) | Decentralized data flow valuation and deployment | |
CN110019267A (zh) | 一种元数据更新方法、装置、系统、电子设备及存储介质 | |
US11481412B2 (en) | Data integration and curation | |
WO2021208762A1 (zh) | 数据存储、查询 | |
CN113392158A (zh) | 业务数据处理方法、装置及数据中台 | |
CN114327374A (zh) | 业务流程的生成方法、装置及计算机设备 | |
CN111951101A (zh) | 数据核对方法及装置 | |
CN112035471A (zh) | 一种事务处理方法及计算机设备 | |
US20220050825A1 (en) | Block chain based management of auto regressive database relationships | |
CN110297945B (zh) | 基于xbrl的数据信息处理方法及系统 | |
CN117151045A (zh) | 基于区块链的报表加工方法、装置及计算机设备 | |
CN114565443B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN117076527A (zh) | 数据传输方法、装置、计算机设备、存储介质和程序产品 | |
CN106599244B (zh) | 通用的原始日志清洗装置及方法 | |
CN114238585A (zh) | 基于5g消息的查询方法、装置、计算机设备和存储介质 | |
CN114707835A (zh) | 一种数据处理方法、装置、电子设备及计算机可读介质 | |
CN112417018A (zh) | 一种数据共享方法及装置 | |
US20210141791A1 (en) | Method and system for generating a hybrid data model | |
CN113902415A (zh) | 财务数据核对方法、装置、计算机设备和存储介质 | |
CN112950382A (zh) | 交易业务撮合匹配方法、装置、电子设备及介质 | |
CN114722398A (zh) | 智能合约异常检测方法、区块链网络、设备及存储介质 | |
US12038941B1 (en) | Data mesh for unstructured data | |
CN115604667B (zh) | 消息发送方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |