CN117520310A - 一种基于银行分布式个人客户存款数据迁移系统 - Google Patents
一种基于银行分布式个人客户存款数据迁移系统 Download PDFInfo
- Publication number
- CN117520310A CN117520310A CN202311663725.4A CN202311663725A CN117520310A CN 117520310 A CN117520310 A CN 117520310A CN 202311663725 A CN202311663725 A CN 202311663725A CN 117520310 A CN117520310 A CN 117520310A
- Authority
- CN
- China
- Prior art keywords
- data
- data storage
- bank
- oceanbase
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 44
- 230000005012 migration Effects 0.000 title claims abstract description 44
- 238000013500 data storage Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012546 transfer Methods 0.000 claims description 13
- 238000011161 development Methods 0.000 abstract description 13
- 238000007726 management method Methods 0.000 description 9
- 238000005192 partition Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种基于银行分布式个人客户存款数据迁移系统，包括：实时http交易模块和夜间批量处理模块；注册中心和渠道调用方法分别与统一网关的输入端连接；统一网关的输出端与后端服务的输入端连接；后端服务的输出端与数据存储单元oceanbase连接；数据存储单元oceanbase与数据湖连接；DN文件传输系统将推送文件发送至后端服务；东方通文件传输系统将推送文件发送至后端服务；数据存储子单元ob2将迁移数据发送至数据存储单元oceanbase；oms迁移工具，用于迁移数据至数据存储单元oceanbase和数据存储子单元ob2。基于k8s进行部署，实现了分布式开发，灵活扩展pod数，中间件是集群部署模式，强化了系统的承载能力。
Description
技术领域
本发明涉及银行通信领域，尤其涉及一种基于银行分布式个人客户存款数据迁移系统。
背景技术
银行个人客户管理系统主要存储全行级个人客户信息，作为银行的个人客户管理系统，核心交易AS400系统推送给个人客户管理系统，个人客户系统接收并存储个人客户信息，并返回给外围渠道端的响应信息。在此基础上，个人客户管理系统，主体业务价值体现在为现有系统以及未来新建系统提供高时效性的、完整的、一致的、准确的、共享的、权威的全行级个人客户信息，实现跨业务线、跨渠道的个人客户信息共享，是真正“以个人客户为中心”的经营模式，把单一业务对个人客户进行管理，转变成为个人客户全业务领域、全生命周期管理，提升银行在个人客户服务与管理方面的核心竞争力。
现有技术中个人客户管理系统无法满足现在的市场需求，无法同时支持使用Java语言开发，无法接收Http协议的提交，并且不适用于做分布式开发。
随着市场对互联网的需求，核心系统需要支持高性能、高并发和高可用，并且支持分布式。能够承载至少每天几千万的交易，每秒上千的TPS，并能够应对日益增长的交易量。
现有技术中的个人客户管理系统无法满足现在的市场需求，无法同时支持使用Java语言开发，无法接收Http协议的提交，并且不适用于做分布式开发。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于银行分布式个人客户存款数据迁移系统。
根据本发明的一个方面，提供了一种基于银行分布式个人客户存款数据迁移系统，数据迁移系统包括：实时http交易模块和夜间批量处理模块；
注册中心和渠道调用方法分别与统一网关的输入端连接；
统一网关的输出端与后端服务的输入端连接；
后端服务的输出端与数据存储单元oceanbase连接；
数据存储单元oceanbase与数据湖连接；
DN文件传输系统将推送文件发送至后端服务；
东方通文件传输系统将推送文件发送至后端服务；
数据存储子单元ob2将迁移数据发送至数据存储单元oceanbase；
oms迁移工具，用于迁移数据至数据存储单元oceanbase和数据存储子单元ob2。
迁移系统还包括：
分布式批量处理节点，接收跨平台的批量作业调度软件发送的Http请求，接收到请求之后，启动节点的批量任务；
跨平台的批量作业调度软件，用于定时触发批量调度任务。
数据存储单元oceanbase，用于保存分布式个人客户交易系统新的交易数据、产品信息和对账文件信息；
数据存储子单元ob2，用于保存分布式个人客户交易系统的隶属。
迁移系统还包括：分布式批量处理节点，用于处理定时的批量的作业。
DN文件传输系统用于支持pdf存款文件的传输，用来实现柜面和个人客户系统之间的文件存取。
文件传输系统东方通，用于支持txt文件的传输，用来实现个人客户和核心系统之间对账文件的传输。
统一网关用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断。
迁移系统是基于Spring CloudAlibaba和Spring Boot开发的。
本发明提供的一种基于银行分布式个人客户存款数据迁移系统，数据迁移系统包括：实时http交易模块和夜间批量处理模块；注册中心和渠道调用方法分别与统一网关的输入端连接；统一网关的输出端与后端服务的输入端连接；后端服务的输出端与数据存储单元oceanbase连接；数据存储单元oceanbase与数据湖连接；DN文件传输系统将推送文件发送至后端服务；东方通文件传输系统将推送文件发送至后端服务；数据存储子单元ob2将迁移数据发送至数据存储单元oceanbase；oms迁移工具，用于迁移数据至数据存储单元oceanbase和数据存储子单元ob2。基于k8s进行部署，实现了分布式开发，灵活扩展pod数，技术模块之间相互解耦，中间件是集群部署模式，强化了系统的承载能力，使其做到了高性能、高并发和高可用。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于银行分布式个人客户存款数据迁移系统的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
一种基于银行全行的个人客户通过数据加工，整合到一起；提供实时的联机交易，统一个人客户的入口和出口，形成统一的、完整的、准确的个人客户，并且支持批量日终交易。
系统，包括：实时http交易模块和夜间批量处理模块；
系统整体是基于Spring CloudAlibaba和Spring Boot开发的；
实现方法包括：
分布式批量处理节点，用于处理定时的批量的作业，提升系统高性能；
跨平台的批量作业调度软件，用于定时触发批量调度任务；
数据存储单元oceanbase，用于保存分布式个人客户交易系统新的交易数据、产品信息和对账文件信息，提升系统高可用
数据存储子单元ob2，用于保存分布式个人客户交易系统的历史交易数据、产品信息和对账文件信息
oms迁移工具：用于迁移数据，同时支持全量迁移和增量更新，保证双方数据的一致性
分区键：用于将历史数据以及增量数据进行分区，避免使用数据时涉及到分区查询，增强查询性能
验证逻辑：用于横向纵向验证迁移前后双边数据的一致性和准确性。
DN文件传输系统，包含多个节点，支持pdf文件的传输，用来实现柜面和个人客户系统之间的文件存取，提升系统高可用
东方通文件传输系统，包含多个节点，支持txt文件的传输，用来实现个人客户系统和核心系统之间对账文件的传输，提升系统高可用
统一网关，用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断，提升系统高性能。
容器云环境，用于部署分布式批量处理节点并支持分布式批量处理各节点之间通信机制，实现了分布式开发，灵活扩展pod数，技术模块之间相互解耦，提升系统高可用
Nacos，用于作为服务发现和注册中心，推送配置信息实现分布式开发，提升系统高性能
分布式批量处理节点整体是基于Spring Cloud框架开发。
分布式批量处理节点，接收跨平台的批量作业调度软件发送的Http请求，接收到请求之后，启动节点的批量任务。
跨平台的批量作业调度软件，可以管理和控制作业流程，提供作业状态信息，通过Http请求触发批量调度任务。
数据存储单元oceanbase，用于保存分布式个人客户交易系统的交易数据、产品信息和对账文件信息
数据存储子单元ob2，用于保存分布式个人客户交易系统的历史交易数据、产品信息和对账文件信息
oms迁移工具：用于迁移数据，同时支持全量迁移和增量更新，保证双方数据的一致性
分区键：用于将历史数据以及增量数据进行分区，避免使用数据时涉及到分区查询，增强查询性能
验证逻辑：用于横向纵向验证迁移前后双边数据的一致性和准确性。
文件传输系统DN，用于支持pdf存款文件的传输，用来实现柜面和个人客户系统之间的文件存取
文件传输系统东方通，用于支持txt文件的传输，用来实现个人客户和核心系统之间对账文件的传输
统一网关，用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断
Nacos，用于作为服务发现和注册中心，推送配置信息实现分布式开发
本发明提供的如图1所示，一种基于银行个人客户业务主要存储全行级个人客户系统，业务系统包括：实时http交易模块和夜间批量处理模块；
统一网关，用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断
分布式批量处理节点，用于处理定时的批量的作业，提升系统高可用；
跨平台的批量作业调度软件，用于定时触发批量调度任务；
数据存储单元ob2，用于保存分布式个人客户交易系统历史的交易数据、产品信息和对账文件信息
oms迁移工具：用于迁移数据，同时支持全量迁移和增量更新，保证双方数据的一致性
分区键：用于将历史数据以及增量数据进行分区，避免使用数据时涉及到分区查询，增强查询性能
验证逻辑：用于横向纵向验证迁移前后双边数据的一致性和准确性。
数据存储单元oceanbase，用于保存分布式个人客户交易系统新的交易数据、产品信息和对账文件信息
DN文件传输系统，包含多个节点，支持pdf文件的传输，用来实现柜面和个人客户系统之间的文件存取
东方通文件传输系统，包含多个节点，支持txt文件的传输，用来实现核心和个人客户系统之间对账文件的传输
Nacos，用于作为服务发现和注册中心，推送配置信息实现分布式开发，提升系统高性能；
容器云环境，用于部署分布式批量处理节点并支持分布式批量处理各节点之间通信机制，实现了分布式开发，灵活扩展pod数，技术模块之间相互解耦。
有益效果：一种基于银行个人客户管理系统主要存储全行级个人客户的系统，个人客户系统包括：实时http交易模块和夜间批量处理模块；分布式批量处理节点，用于处理定时的批量的作业；跨平台的批量作业调度软件，用于定时触发批量调度任务，实现重试任务；数据存储单元oceanbase，用于保存分布式个人客户交易系统的交易数据、产品信息和对账文件信息；数据存储单元ob2，用于保存分布式个人客户交易系统的历史交易数据、产品信息和对账文件信息。oms迁移工具：用于迁移数据，同时支持全量迁移和增量更新，保证双方数据的一致性；分区键：用于将历史数据以及增量数据进行分区，避免使用数据时涉及到分区查询，增强查询性能；验证逻辑：用于横向纵向验证迁移前后双边数据的一致性和准确性；DN文件传输系统，包含多个节点，支持pdf文件的传输，用来实现柜面和个人客户系统之间的文件存取；东方通文件传输系统，包含多个节点，支持txt文件的传输，用来实现核心和个人客户系统之间对账文件的传输；Nacos，用于作为服务发现和注册中心，推送配置信息实现分布式开发；统一网关，用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断。容器云环境，用于部署分布式批量处理节点并支持分布式批量处理各节点之间通信机制，实现了分布式开发，灵活扩展pod数，技术模块之间相互解耦。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述数据迁移系统包括：实时http交易模块和夜间批量处理模块；
注册中心和渠道调用方法分别与统一网关的输入端连接；
所述统一网关的输出端与后端服务的输入端连接；
所述后端服务的输出端与数据存储单元oceanbase连接；
所述数据存储单元oceanbase与数据湖连接；
DN文件传输系统将推送文件发送至所述后端服务；
东方通文件传输系统将推送文件发送至所述后端服务；
数据存储子单元ob2将迁移数据发送至所述数据存储单元oceanbase；
oms迁移工具，用于迁移数据至所述数据存储单元oceanbase和所述数据存储子单元ob2。
2.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述迁移系统还包括：
分布式批量处理节点，接收跨平台的批量作业调度软件发送的Http请求，接收到请求之后，启动节点的批量任务；
跨平台的批量作业调度软件，用于定时触发批量调度任务。
3.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述数据存储单元oceanbase，用于保存分布式个人客户交易系统新的交易数据、产品信息和对账文件信息。
4.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述数据存储子单元ob2，用于保存分布式个人客户交易系统的隶属。
5.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述迁移系统还包括：分布式批量处理节点，用于处理定时的批量的作业。
6.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述DN文件传输系统用于支持pdf存款文件的传输，用来实现柜面和个人客户系统之间的文件存取。
7.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述文件传输系统东方通，用于支持txt文件的传输，用来实现个人客户和核心系统之间对账文件的传输。
8.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述统一网关用来路由不同请求路径，统一拦截请求，并支持黑白名单和熔断。
9.根据权利要求1所述的一种基于银行分布式个人客户存款数据迁移系统，其特征在于，所述迁移系统是基于Spring CloudAlibaba和Spring Boot开发的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663725.4A CN117520310A (zh) | 2023-12-06 | 2023-12-06 | 一种基于银行分布式个人客户存款数据迁移系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663725.4A CN117520310A (zh) | 2023-12-06 | 2023-12-06 | 一种基于银行分布式个人客户存款数据迁移系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117520310A true CN117520310A (zh) | 2024-02-06 |
Family
ID=89756725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311663725.4A Pending CN117520310A (zh) | 2023-12-06 | 2023-12-06 | 一种基于银行分布式个人客户存款数据迁移系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520310A (zh) |
-
2023
- 2023-12-06 CN CN202311663725.4A patent/CN117520310A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9367600B2 (en) | Policy-based storage structure distribution | |
| AU2012308935A1 (en) | Marketplace for timely event data distribution | |
| CN103905537A (zh) | 分布式环境下管理工业实时数据存储的系统 | |
| CN105144161A (zh) | 针对复制写入的基于令牌的准入控制 | |
| CN104011701A (zh) | 内容传送网络 | |
| US11609914B2 (en) | Policy-based storage structure distribution | |
| CN106330987A (zh) | 动态负荷均衡方法 | |
| Anton et al. | On the stability of redundancy models | |
| US20160315817A1 (en) | Tool for managing computer resources and infrastructures and networks | |
| US20130132546A1 (en) | Tool for managing resources and computer infrastructures and networks | |
| CN109032800A (zh) | 一种负载均衡调度方法、负载均衡器、服务器及系统 | |
| Ayesta et al. | A token-based central queue with order-independent service rates | |
| Weng et al. | Optimal load balancing in bipartite graphs | |
| CN117520310A (zh) | 一种基于银行分布式个人客户存款数据迁移系统 | |
| CN110263047B (zh) | 一种数据中心节点分配方法、装置、系统及计算机设备 | |
| CN112669160B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN117522549A (zh) | 一种基于银行分布式个人客户存款管理系统 | |
| US11074229B1 (en) | Distributed read-only database service | |
| CN116757636A (zh) | 一种基于银行分布式电子回单管理系统 | |
| CN117522540A (zh) | 一种基于银行分布式电子账单管理系统 | |
| EP3924838B1 (en) | Processing complex database querys | |
| CN117632913A (zh) | 一种基于银行分布式纸黄金系统数据库迁移系统 | |
| CN117035995A (zh) | 一种基于银行分布式存贷款拓客管理系统 | |
| CN117668079A (zh) | 一种基于银行分布式序列服务改造实施系统 | |
| CN116579849A (zh) | 一种基于贵金属交易的管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |