CN116795925A - 一种基于大数据和分布式的银行客户信息管理系统 - Google Patents
一种基于大数据和分布式的银行客户信息管理系统 Download PDFInfo
- Publication number
- CN116795925A CN116795925A CN202310344827.3A CN202310344827A CN116795925A CN 116795925 A CN116795925 A CN 116795925A CN 202310344827 A CN202310344827 A CN 202310344827A CN 116795925 A CN116795925 A CN 116795925A
- Authority
- CN
- China
- Prior art keywords
- big data
- management system
- client
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；所述联机模块包括客户的增、删、改、查内容；所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；所述大数据集群模块包括实时任务和离线任务内容。随着客户量逐年增加以及银行拓展业务的需求，银行核心客户系统需要支持高性能、高并发和高可用，并且支持分布式以及大数据处理。
Description
技术领域
本发明涉及银行客户信息领域，尤其涉及一种基于大数据和分布式的银行客户信息管理系统。
背景技术
银行核心客户信息管理系统主要存储全行级客户信息，作为银行核心的客户信息管理系统，需要为外围系统提供高时效性的、完整的、一致的、准确的、共享的、权威的全行级客户信息，实现跨业务线、跨渠道的客户信息共享。同时随着银行客户量不断增大，要求客户信息系统有大数据处理能力。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于大数据和分布式的银行客户信息管理系统。
根据本发明的一个方面，提供了一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；
所述联机模块包括客户的增、删、改、查内容；
所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；
所述大数据集群模块包括实时任务和离线任务内容。
可选的，所述管理系统整体是基于SpringCloudAlibaba和Spring Boot以及hadoop开发的。
可选的，所述管理系统整体是基于SpringBoot开发的，使用Kafka中间件实时推送数据，能够支持Http通信协议+Json报文格式。
可选的，所述管理系统包括：网关Gateway前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式。
可选的，所述管理系统接收http协议，通过联机交易模块，所述系统保留客户信息数据，同时通过Kafka中间件实时推送外围渠道。
可选的，所述系统应用Nacos作为服务发现和注册中心，并作为应用配置中心，配置限流功能；
Nacos作为配置中心会推送配置信息到注册到Nacos的服务中，服务也主动拉取Nacos中的配置实现分布式开发。
可选的，所述管理系统应用Kafka消息队列做异步外围系统消息推送记录，异步给外围系统推送最新客户信息不会影响到应用的响应时间，与应用解耦。
可选的，所述批量处理模块和大数据集群模块依赖ctm进行作业调度。
可选的，所述管理系统使用hadoop和spark的离线任务去处理和分析大数据量客户，将处理完数据放到hbase和ElasticSearch中，便于联机和批处理模块对加工完数据的使用。
本发明提供的一种基于大数据和分布式的银行客户信息管理系统，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；所述联机模块包括客户的增、删、改、查内容；所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；所述大数据集群模块包括实时任务和离线任务内容。随着客户量逐年增加以及银行拓展业务的需求，银行核心客户系统需要支持高性能、高并发和高可用，并且支持分布式以及大数据处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于大数据和分布式的银行客户信息管理系统的整体框架图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明提供了一种基于大数据和分布式技术的银行客户信息管理系统，本系统将全行的客户信息通过数据加工，整合到一起；提供实时的联机交易，统一客户信息的入口和出口，形成统一的、完整的、准确的客户信息，并且支持批量日终交易去分析加工问题数据，保证全行客户数据质量完整合规从而提供准确真实的客户视图。本系统，包括：联机和批量以及大数据集群三个模块；联机模块包含客户的增、删、改、查等内容；批处理模块包含客户客户注册、客户异步推送、客户信息增量文件抽取等内容；大数据集群模块包含实时任务和离线任务等内容。
如图1所示，一种基于大数据和分布式技术的银行客户信息管理系统，所述业务系统包括：联机和批量以及大数据集群模块；
客户信息业务系统包括：联机模块、批量模块、大数据集群模块；
联机模块是基于SpringBoot开发的，用于存储客户信息以及与后端系统对账情况，能够支持接收能够支持Http+Json报文格式。
如图1所示ES组件特指ElasticSearch组件，后续不再赘述。
本系统的包含网关(Gateway)前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式，本系统联机交易模块接收Json数据，对客户数据进行加工操作，以及进行客户数据异步同步。
本系统应用Nacos作为服务发现和注册中心，并作为应用配置中心，配置限流、熔断、黑白名单和路由信息等功能。Nacos作为配置中心会推送配置信息到注册到Nacos的服务中，服务也可以主动拉取Nacos中的配置。
本系统应用Kafka消息队列做异步消息推送，异步推送变更客户信息信息消息不会影响到应用的响应时间，与应用解耦。异步推送变更客户信息。
应用Kafka消息队列进行异步处理，应用将要记录的客户信息生产发送给Kafka队列，Kafka队列将消息发送给记录流水的消费服务。消费服务将流水信息存入数据库中。
如图1所示批处理模块基于ctm进行作业调度。
联机和批处理模块，应用springboot框架，可以集成springcloud Alibaba，实现分布式部署，支持高性能。
如图1所示大数据集群包含事前分析、事中处理、事后估计三部分能力。大数据的事前分析包含：1.通过spark计算后存入Hive表，增加加载的数据进行全量整合，供后续使用，外部接入的客户管控数据同时存入Hbase中供查询使用；2.在Hive中根据各规则加工得到相应的客户清单分析统计数据，清单数据加载到ES表供灵活统计查询使用，分析数据加载到Hbase供交易查询展示。
大数据的事中处理包含：在Hive对所有任务数据进行分类整合，根据不同类型进行相应的处理；生成管控客户清单详细信息存入Hbase供查询使用。管控、修改数据等清单直接进行文件下发处理。核查类清单调用对应联机交易模块进行处理。客户核查完成后生成客户核查结果修改清单进行下发。
大数据事后评估包含：在Hive中根据全量客户，问题客户，管控客户，进行对比分析，生成分析统计数据供查询使用。
如图1所示利用python进行数据库任务的数据读取解析；利用sunbird完成Hadoop各组件之间的数据转换和加工，主要含以下场景；使用spark引擎完成以下几个功能；1.在Hive库进行数据加工。2.Hive表数据加载到Hbase。3.Hbase表数据加载到Hive。4.Hive表数据加载到Hadoop的hdfs文件中。5.Hadoop的hdfs文件加载到Hive。
提供了一种基于银行全行的客户信息通过数据加工，整合到一起；提供实时的联机交易，统一客户信息的入口和出口，形成统一的、完整的、准确的客户信息，并且支持批量日终交易去分析加工问题数据，保证全行客户数据质量完整合规从而提供准确真实的客户视图。
基于大数据和分布式技术的银行客户信息管理系统，包括：联机和批量以及大数据集群三个模块；联机模块包含客户的增、删、改、查等内容；批处理模块包含客户客户注册、客户异步推送、客户信息增量文件抽取等内容；大数据集群模块包含实时任务和离线任务等内容。
有益效果：随着客户量逐年增加以及银行拓展业务的需求，银行核心客户系统需要支持高性能、高并发和高可用，并且支持分布式以及大数据处理。能够承载至少每天几千万的交易，每秒上千的TPS，并能够应对大数据量客户的数据质量分析，对不合规客户数据进行治理。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述信息管理系统包括：联机模块、批量处理模块和大数据集群模块；
所述联机模块包括客户的增、删、改、查内容；
所述批量处理模块包括客户注册、客户异步推送、客户信息增量文件抽取的内容；
所述大数据集群模块包括实时任务和离线任务内容。
2.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统整体是基于SpringCloudAlibaba和Spring Boot以及hadoop开发的。
3.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统整体是基于SpringBoot开发的，使用Kafka中间件实时推送数据，能够支持Http通信协议+Json报文格式。
4.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统包括：网关Gateway前置系统，外围渠道发送Http协议到网关系统中统一转换成Json格式。
5.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统接收http协议，通过联机交易模块，所述系统保留客户信息数据，同时通过Kafka中间件实时推送外围渠道。
6.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述系统应用Nacos作为服务发现和注册中心，并作为应用配置中心，配置限流功能；
Nacos作为配置中心会推送配置信息到注册到Nacos的服务中，服务也主动拉取Nacos中的配置实现分布式开发。
7.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统应用Kafka消息队列做异步外围系统消息推送记录，异步给外围系统推送最新客户信息不会影响到应用的响应时间，与应用解耦。
8.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述批量处理模块和大数据集群模块依赖ctm进行作业调度。
9.根据权利要求1所述的一种基于大数据和分布式的银行客户信息管理系统，其特征在于，所述管理系统使用hadoop和spark的离线任务去处理和分析大数据量客户，将处理完数据放到hbase和ElasticSearch中，便于联机和批处理模块对加工完数据的使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310344827.3A CN116795925A (zh) | 2023-04-03 | 2023-04-03 | 一种基于大数据和分布式的银行客户信息管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310344827.3A CN116795925A (zh) | 2023-04-03 | 2023-04-03 | 一种基于大数据和分布式的银行客户信息管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116795925A true CN116795925A (zh) | 2023-09-22 |
Family
ID=88039246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310344827.3A Pending CN116795925A (zh) | 2023-04-03 | 2023-04-03 | 一种基于大数据和分布式的银行客户信息管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116795925A (zh) |
-
2023
- 2023-04-03 CN CN202310344827.3A patent/CN116795925A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2936344B1 (en) | Searchable data archive | |
| US20190266583A1 (en) | Systems and methods for automatically collection of performance data in a multi-tenant database system environment | |
| CN100531055C (zh) | 数据同步系统及其方法 | |
| US6510431B1 (en) | Method and system for the routing of requests using an automated classification and profile matching in a networked environment | |
| CN109995859A (zh) | 一种调度方法、调度服务器及计算机可读存储介质 | |
| CN101636736A (zh) | Web服务发现方法及使用自然语言查询的装置 | |
| Zhang et al. | Towards cloud-edge collaborative online video analytics with fine-grained serverless pipelines | |
| CN112150203A (zh) | 房地产客户到访识别方法、装置、电子设备及存储介质 | |
| CN107870982A (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN107451211A (zh) | 一种基于RabbitMQ和MongoDB的下载系统 | |
| CN114036159A (zh) | 银行业务信息更新方法和系统 | |
| CN116795925A (zh) | 一种基于大数据和分布式的银行客户信息管理系统 | |
| CN111343269B (zh) | 一种数据下载方法、装置、计算机设备和存储介质 | |
| CN115658753A (zh) | 一种电子回单的查询方法、装置及相关设备 | |
| Berkovsky | Ubiquitous user modeling in recommender systems | |
| US20100094944A1 (en) | Storage medium storing system analysis support program, system analysis support system, and system anaylsis support method | |
| CN115562886A (zh) | 一种智能外呼系统及方法 | |
| CN114692650A (zh) | 针对大数据推荐的社交平台互动信息处理方法及系统 | |
| CN112116483B (zh) | 保单数据处理方法、查询方法、存储介质和电子设备 | |
| CN114595051A (zh) | 一种增强云计算协作数据处理的方法、系统及电子设备 | |
| CN110347654A (zh) | 一种上线集群特性的方法和装置 | |
| CN114840183A (zh) | 一种基于用户行为的微前端调整方法及装置 | |
| CN113329043A (zh) | 一种数据服务提供方法及装置 | |
| CN112506960A (zh) | 基于ArangoDB引擎的多模型数据存储方法及系统 | |
| CN114443234A (zh) | 数据分析方法、装置、nwdaf组群及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |