CN104866531A - 快速访问银行客户信息数据的方法及系统 - Google Patents
快速访问银行客户信息数据的方法及系统 Download PDFInfo
- Publication number
- CN104866531A CN104866531A CN201510205404.9A CN201510205404A CN104866531A CN 104866531 A CN104866531 A CN 104866531A CN 201510205404 A CN201510205404 A CN 201510205404A CN 104866531 A CN104866531 A CN 104866531A
- Authority
- CN
- China
- Prior art keywords
- bank
- customer information
- data
- access
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Abstract
本发明提供了一种快速访问银行客户信息数据的方法及系统,所述系统包含:银行终端、银行电子渠道应用系统和内存缓存系统;所述银行终端与所述银行电子渠道应用系统通信连接,用于根据用户操作指令输出访问请求;所述银行电子渠道应用系统与所述内存缓存系统通信连接,用于接收所述访问请求并向内存缓存系统发起访问请求和接收反馈结果输出至所述银行终端;所述内存缓存系统包含复数台服务器,所述复数台服务器分别与所述客户信息数据同步层通信连接,用于接收到银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中存储的银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统。
Description
技术领域
本发明涉及数据访问领域,尤指一种快速访问银行客户信息数据的方法及系统。
背景技术
电子银行渠道作为银行对外提供金融服务的重要通道,是银行和客户交互的窗口,电子银行渠道业务在银行总业务量中的比重日益增加,对传统渠道的替代效应不断加强,已经成为银行价值来源的重要组成部分。目前,银行已有的电子银行渠道系统包括个人网银、企业网银、手机银行、电话银行、短信银行、平板银行、各类自助设备(自动存取款机、固定电话支付终端、POS机、智能柜员机、多媒体机、自助发卡机、自助票据机等)、网上支付等(如图1所示)。电子银行渠道已经成为银行业务与服务分销的重要渠道,对全行的业务发展起着有效的支撑作用。随着服务需求的急剧增长,电子银行渠道领域呈现出版本快速升级、业务需要不断创新、功能不断完善、用户数和交易量成海量爆发式增长等发展态势,对应用系统和整体系统架构提出了新要求。
虽然当前银行的电子银行渠道系统在建设、客户容量、系统性能等方面已经取得了长足的进步,但还是存在种种不足,对今后电子银行业务发展有所制约。主要体现在:
访问速度缓慢:由于现有各个电子银行渠道系统均采用传统软件技术设计开发,随着电子银行业务的飞速发展,已经暴露出数据存取速度慢,通讯异常率高、客户体验差的问题。
信息分散:不同渠道、境内外系统签约信息相互独立,形成信息孤岛,给渠道互联互通、境内外联动带来困难。
各电子银行渠道间相互隔绝,各自开发,开发效率低,且由于各电子银行渠道割裂,难以实现渠道间银行业务流程接力。
以产品为中心:各渠道界面风格不统一,菜单不一致,功能按银行产品组织(如通知存款、得利宝等),给客户带来学习成本。
其中面临的最显著的数据访问题即在于银行客户信息数据的使用和访问方式上,存在着架构分散、信息凌乱、访问效率低下的问题,越来越不能适应新时期电子银行业务发展的形势,无法应对银行海量客户信息的访问压力,更加无法保证能为客户提供良好的使用体验,因此迫切需要找到一种新的方法和实现方式来支撑电子银行业务的快速发展趋势。
现有各个银行电子渠道应用系统的技术实现均采用传统客户端服务器模式,银行客户信息数据及各类业务数据均存储在传统关系型数据库中;当银行客户登陆银行电子渠道系统后进行的所有业务操作,均须实时访问各个银行电子渠道应用系统的数据库,而传统关系型数据库在数据实时访问性能、海量数据存储能力、超大访问并发性能指标等方面均存在不足,面对着日新月异的电子银行业务发展,当前系统整体的的客户总量和访问流量访均已经达到或超过了传统关系型数据库的上限,在业务高峰期,客户在电子银行渠道的正常业务操作经常发生通讯超时或其他数据访问异常的现象,因此,需要一种新的方法和实现来提升传统关系数据库的访问压力,加速电子银行客户的操作访问速度,提升客户体验。
发明内容
本发明目的在于提供一种快速访问银行客户信息数据的方法及系统,通过引入内存缓存,充分减轻海量并发请求访问环境下各个应用系统对关系型数据库的访问压力,减少系统间交互调用及运算开销,提升整体性能。在超高客户并发的情况下,由于大量电子银行应用服务器直接请求访问内存缓存服务器,获取存储在其内存空间中的业务对象数据,比传统关系型业务数据库更快的提供相关的数据访问服务,并能通过内存缓存服务器的横向扩展,有效分散单台服务器的的并发访问压力,而更加显著的降低业务数据库的访问压力,极大地提升了银行各个电子渠道应用系统的响应速度,从本质上解决了超大规模银行客户信息数据的大并发情况下的存取访问的速度。
为达上述目的,本发明提供的一种快速访问银行客户信息数据的系统,具体包含:银行终端、银行电子渠道应用系统、客户信息数据同步层和内存缓存系统;所述银行终端与所述银行电子渠道应用系统通信连接,用于根据用户操作指令输出访问请求;所述银行电子渠道应用系统与所述内存缓存系统通信连接,用于接收所述访问请求并向内存缓存系统发起访问请求和接收反馈结果输出至所述银行终端;所述内存缓存系统包含复数台服务器,所述复数台服务器分别与所述客户信息数据同步层通信连接,用于接收银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统。
在上述快速访问银行客户信息数据的系统中,优选的,所述客户信息数据同步层包含银行客户信息数据库,所述银行客户信息数据库用于存储银行各电子渠道的客户信息数据。
在上述快速访问银行客户信息数据的系统中,优选的,所述银行电子渠道应用系统还包含:根据所述访问请求,获得银行客户信息数据库中存储的客户信息数据并将所述客户信息数据存储至所述内存缓存系统。
在上述快速访问银行客户信息数据的系统中,优选的,所述银行电子渠道应用系统包含复数个电子银行渠道应用,所述复数个电子银行渠道应用与所述复数台服务器直接连接。
在上述快速访问银行客户信息数据的系统中,优选的,所述客户信息数据同步层还包含缓存定时批量同步系统,所述缓存定时批量同步系统用于按特定时间周期从银行客户信息数据库获取所述各电子银行渠道的客户信息数据并分类处理后加载至所述内存缓存系统中存储。
本发明还提供一种快速访问银行客户信息数据的方法,所述方法具体包含:根据用户操作指令输出访问请求;银行电子渠道应用系统接收所述访问请求并向内存缓存系统发起访问请求;内存缓存系统接收到银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中的银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统;银行电子渠道应用系统接收反馈结果并输出至所述银行终端。
在上述快速访问银行客户信息数据的方法中,优选的,所述快速访问银行客户信息数据的方法还包含:特定时间周期从银行客户信息数据库获取各电子银行渠道的客户信息数据并分类处理后加载至内存缓存系统中存储。
在上述快速访问银行客户信息数据的方法中,优选的,所述获取各电子银行渠道的客户信息数据并分类处理包含:根据电子银行渠道应用的类别对获得的所述客户信息数据进行相应类别的数据加工效验和转换后存储至内存缓存系统中。
在上述快速访问银行客户信息数据的方法中,优选的,所述根据访问请求查询本地应用内存中的银行客户信息数据包含:内存缓存系统接收到银行电子渠道应用系统的访问请求后,根据访问请求查询本地应用内存中的银行客户信息数据;根据查询到的银行客户信息数据,获取相关银行客户信息数据对象,根据所述相关银行客户信息数据对象生成反馈结果,并反馈至银行电子渠道应用系统。
在上述快速访问银行客户信息数据的方法中,优选的,所述根据访问请求查询本地应用内存中的银行客户信息数据之后还包含:当内存缓存应用未查询到银行客户信息数据,则根据该银行客户信息数据中的特定查询特征,组织标准的SQL查询语句,获取银行客户信息数据库的连接,向银行客户信息数据库发起标准SQL查询请求;银行客户信息数据库接收到所述标准SQL查询请求后,查询所述银行客户信息数据,并反馈至内存缓存系统。
在上述快速访问银行客户信息数据的方法中,优选的,所述特定时间周期从银行客户信息数据库获取各电子银行渠道的客户信息数据并分类处理后加载至内存缓存系统中存储还包含:对内存缓存系统中银行客户信息数据设置有效时长,根据所述有效时长,在缓存定时批量同步系统中设置对应银行客户信息数据同步任务的调度策略;所述缓存定时批量同步系统跟据所述数据同步任务的调度策略按时触发数据同步任务;当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息同步到内存缓存系统中。
在上述快速访问银行客户信息数据的方法中,优选的,当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息同步到内存缓存系统中还包含:如果同步任务正常完成,更新任务状态信息,等待下一次数据同步任务触发;如果同步任务发生异常,也更新任务状态信息,并根据配置信息,重新触发执行。
本发明的有益技术效果在于:在海量并发请求访问环境中,充分减轻银行电子渠道应用系统对银行客户信息数据库的访问压力,减少系统间交互调用及运算开销,提升整体性能。在超高客户并发的情况下,由于大量银行电子渠道应用服务器直接请求访问内存缓存服务器,获取存储在其内存空间中的银行客户数据对象,可以比传统关系型数据库更快的提供相关数据服务,并能通过内存缓存服务器的横向扩展,有效分散单台服务器的并发访问压力,而更加显著的降低业务数据库的访问压力,极大地提升了各类银行电子渠道系统的响应速度,从本质上解决了超大规模银行客户信息数据在大并发场景中的存取访问速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为当前电子银行渠道系统结构图;
图2为本发明所提供的快速访问银行客户信息数据的系统结构图;
图3为本发明所提供的快速访问银行客户信息数据的方法流程图;
图4为实时访问流程流程图;
图5为定时数据同步流程图;
图6为本发明所提供的快速访问银行客户信息数据的系统与当前电子银行渠道系统访问对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
银行电子渠道应用系统的性能瓶颈集中反映在超大规模银行客户信息数据在大并发情况下的存取访问速度,而传统关系型数据库对高并发读写的支持以及高并发读写的表现均无法有本质提升,本发明所提供的快速访问银行客户信息数据的方法和系统实现通过引入内存缓存,可以充分减轻海量并发请求访问环境下各个应用系统对关系型数据库的访问压力,减少系统间交互调用及运算开销,提升整体性能。在超高客户并发的情况下,由于大量银行电子渠道应用服务器直接请求访问内存缓存服务器,获取存储在其内存空间中的业务对象数据,可以快比传统关系型业务数据库更快的提供相关的数据服务,并能通过内存缓存服务器的横向扩展,有效分散单台服务器的并发访问压力,而更加显著的降低业务数据库的访问压力,极大地提升了银行各类电子渠道系统的响应速度,从本质上解决了超大规模银行客户信息数据的大并发情况下的存取访问的速度。
其中本发明提供的一种快速访问银行客户信息数据的系统,具体请参考图2所示,所述系统包含:银行终端、银行电子渠道应用系统、客户信息数据同步层和内存缓存系统;所述银行终端与所述银行电子渠道应用系统通信连接,用于根据用户操作指令输出访问请求;所述银行电子渠道应用系统与所述内存缓存系统通信连接,用于接收所述访问请求并向内存缓存系统发起访问请求和接收反馈结果输出至所述银行终端;所述内存缓存系统包含复数台服务器,所述复数台服务器分别与所述客户信息数据同步层通信连接,用于接收银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中的银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统。
在上述快速访问银行客户信息数据的系统中,优选的,所述客户信息数据同步层包含:银行客户信息数据库和缓存定时批量同步系统;所述银行客户信息数据库用于存储银行电子渠道的客户信息类数据;所述缓存定时批量同步系统按特定时间周期从银行客户信息数据库获取所述银行电子渠道的客户信息数据并分类处理后加载至所述内存缓存系统中存储。
在本发明一实施例中,基于内存缓存的银行客户信息访问系统规范统一了各类银行电子渠道应用系统所使用的银行客户信息类数据,并采用实时访问和定时批量两种方式从银行客户信息数据库中同步存储在内存缓存中,提供给各个银行电子渠道应用系统大规模实时并发访问,系统整体架构如图2所示。
第一层为银行终端,当海量客户七天即7*24小时使用各类银行电子渠道应用系统时,所有的客户操作均需实时请求银行各相关应用系统,产生大量访问请求;
第二层为银行电子渠道应用系统,用于接收海量客户并发访问请求,实现各类校验规则或业务流程处理,而在处理各类业务逻辑的过程中,银行客户信息是至关重要且具有超大并发访问压力的热点数据,在本系统中,相关银行客户信息类数据统一存储于内存缓存服务器中,供各个银行电子渠道应用系统实时访问存取。
第三层为内存缓存系统,用于存储各类银行客户信息类数据;由多台服务器组成,并具备水平可扩展能力即可根据当前银行电子渠道应用系统的种类和性能指标调整服务器的数量;内存缓存系统存放的银行客户信息数据为第二层各类银行电子渠道应用系统所需要的标准化数据结构对象,包括自助银行、手机银行、个人网上银行、呼叫中心、企业网上银行等各类可共用或个性化的银行客户信息数据对象,该类银行客户信息数据均由银行客户信息数据库中获取。
第四层为银行客户信息数据同步层,包括银行客户信息数据库以及缓存定时批量同步系统;其中银行客户信息数据库为传统关系型数据库,用于存储所有银行电子渠道应用系统相关的银行客户信息数据,内存缓存系统中的所有服务器均以此数据库为唯一准确的数据源;缓存定时批量同步系统负责按照特定时间周期,定时触发批量同步应用程序,采用批量高吞吐率的操作方式从银行客户信息数据库读取全量数据进行必要的数据加工效验和转换后,加载至内存缓存系统中。
其中,上述各个银行电子渠道应用系统均采用标准TCP/TP通讯协议与内存缓存层系统进行通讯,完成数据请求访问。
在上述实施例中,所述银行电子渠道应用系统包含复数个电子银行渠道应用,所述复数个电子银行渠道应用与所述复数台内存缓存服务器直接连接。具体的包含,其中复数台内存缓存服务器的数量根据银行电子渠道应用系统中电子银行渠道应用的数量和访问性能决定,上述复数台内存缓存服务器的数量具体可根据实际银行客户信息数据量来设定,本发明在此并不做过多限制。
基于内存缓存的银行客户访问方法是规范统一各类银行电子渠道应用系统所使用的银行客户信息类数据,并采用实时访问和定时批量两种方式从银行客户信息数据库中同步存储在内存缓存中,提供给各类银行电子渠道应用系统大规模实时并发访问,所述方法流程图如图3所示。
本发明所提供的快速访问银行客户信息数据的方法,具体包含:S301根据用户操作指令输出访问请求;S302银行电子渠道应用系统接收所述访问请求并向内存缓存系统发起访问请求;S303内存缓存系统接收到银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中的银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统;S304银行电子渠道应用系统接收反馈结果并输出至所述银行终端。
在上述步骤S301中,根据用户在银行终端系统上的操作指令生成相应的访问请求,S302与该银行终端相对应的银行电子渠道应用接收所述访问请求后,向内存缓存系统发起访问请求;S303该内存缓存系统中与所述银行电子渠道应用相对应的服务器接收到所述访问请求后,根据所述访问请求查询当前服务器内存储的相关银行客户信息数据,当查询到所述对应的银行客户信息数据后生成反馈结构并输出至所述银行电子渠道应用中,S304所述银行电子渠道应用系统将接收到的反馈结果传输至所述银行终端。
在上述快速访问银行客户信息数据的方法中,优选的,所述快速访问银行客户信息数据的方法还包含:特定时间周期从银行客户信息数据库获取各类银行电子渠道应用系统的银行客户信息数据并分类处理后加载至内存缓存系统中存储。
在上述快速访问银行客户信息数据的方法中,优选的,所述获取各类银行电子渠道应用系统的银行客户信息数据并分类处理包含:根据所述银行电子渠道应用的类别对获得的所述客户信息数据进行相应的数据加工效验和转换后存储至所述内存缓存系统的服务器中。
在上述快速访问银行客户信息数据的方法中,所述内存缓存系统接收到银行电子渠道应用系统的访问请求后,根据访问请求查询本地应用内存中的银行客户信息数据;根据查询到的银行客户信息数据,组织相关银行客户信息数据对象,根据所述相关银行客户信息数据对象生成反馈结果,并反馈至银行电子渠道应用系统。
在上述快速访问银行客户信息数据的方法中,所述根据访问请求查询本地应用内存中的银行客户信息数据之后如未查询到银行客户信息数据,则根据该银行客户信息数据中的特定特征,组织标准的SQL查询语句,获取银行客户信息数据库的连接,向银行客户信息数据库发起标准SQL查询请求;银行客户信息数据库接收到所述标准SQL查询请求后,查询所述银行客户信息数据,并反馈内存缓存系统。
在上述快速访问银行客户信息数据的方法中,所述特定时间周期从银行客户信息数据库获取各类银行电子渠道应用系统的银行客户信息数据并分类处理后加载至内存缓存系统中存储还包含:对内存缓存系统中银行客户信息数据分别设置有效时长,根据所述有效时长,在缓存定时批量同步系统中设置对应银行客户信息数据同步任务的调度策略;所述缓存定时批量同步系统跟据所述数据同步任务的调度策略按时触发数据同步任务;当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息数据同步到内存缓存系统中。
在上述快速访问银行客户信息数据的方法中,当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息数据同步到内存缓存系统中还包含:如果同步任务正常完成,更新任务状态信息,等待下一次数据同步任务触发;如果同步任务发生异常,也更新任务状态信息,并根据配置信息,重新触发执行。
在上述实施例运用到实际工作中,所述快速访问银行客户信息数据的标准化实时访问方法的流程如图4所示:
第一步:银行电子渠道应用系统向内存缓存系统发起访问请求,单次通讯超时时间设置为10秒钟,且设置了如果超时则重发访问请求的处理逻辑,并规定最多为两次超时;如果超过两次访问请求均超时,则银行电子渠道应用系统不再重发访问请求,根据当前业务逻辑返回相关错误提示信息。
第二步:内存缓存系统接收到银行电子渠道应用系统的访问请求后,进行必要的通讯检查和参数合规性检查后,根据访问请求中的银行客户信息关键域,查询本地应用内存中的数据结构;
如果查询到银行客户信息数据,则读取相关银行客户信息数据对象,进行必要的合法性检查,按照预先设定的数据对象,组织成反馈结果,并正常返回给银行电子渠道应用系统,继续第五步。
如果未查到银行客户信息数据,则根据该银行客户信息关键数据的特征,进行必要的合法性检查,组织标准的SQL查询语句,获取银行客户信息数据库的连接,向银行客户信息数据库发起标准SQL查询请求。
第三步:银行客户信息数据库接收内存缓存系统的标准SQL请求,使用传统关系型数据库的查询方式访问相关银行客户信息数据表,并返回内存缓存系统。
第四步:内存缓存系统接收到银行客户信息数据库返回的银行客户信息数据结果集,按照预先设定的数据对象,组织成反馈结果,并正常返回给银行电子渠道应用系统。
第五步:银行电子渠道应用系统成功接收内存缓存系统的反馈结果并进行处理:
如果获得的反馈结果确认成功,则按照正常业务流程继续处理;
如果获得的反馈结果确认失败,则按照失败业务流程继续处理,提示错误信息;
如果已2次超时并未接收到内存缓存系统的反馈结果,则按照异常业务流程继续处理,需要提示异常信息。
由于内存缓存中的银行客户信息数据均设置了一定的超时失效周期,如果有数据超过了该失效周期,则由内存缓存系统自动删除。因此,为了解决内存缓存中存在的已过期而不存在的数据,减少银行电子渠道应用系统实时访问内存缓存时触发访问传统关系型数据库的情况,本发明还提供了缓存定时批量同步系统;用于实现内存缓存与银行客户信息数据库的数据一致性加载功能。
在本发明一实施例中,所述缓存定时批量同步系统在实际工作中的具体工作方法和流程如图5所示:
第一步:跟据银行客户信息数据类型的差异性,在内存缓存系统中自定义设置不同银行客户信息数据的失效时长,同时,在缓存定时批量同步系统中设置自定义的银行客户信息数据同步任务的调度策略。
第二步:缓存定时批量同步系统跟据个性化银行客户信息数据同步任务的调度策略按时触发数据同步任务。
第三步:某个数据同步任务被调起后,根据预先配置的任务信息,获取银行客户信息数据库通讯连接,使用标准SQL访问方式读取数据库中相关的银行客户信息表的数据后,采用高吞吐率和大并发量的写入方式将银行客户信息同步到内存缓存系统中。
如果同步任务正常完成,更新任务状态信息,等待下一次正常调度触发;
如果同步任务发生异常,也更新任务状态信息,并根据配置信息,重新触发执行,目前规定最多重复三次。
第四步:银行电子渠道应用系统向内存缓存系统发起访问请求,单次通讯超时时间设置为10秒钟,且设置了如果超时则重发访问请求的处理逻辑,并规定最多为两次超时;若果超过两次超时,则银行电子渠道应用系统不再重发访问请求,根据业务逻辑直接返回相关错误提示信息。
第五步:银行电子渠道应用系统成功接收内存缓存系统的反馈结果后进行后续业务流程处理:
如果获得的反馈结果确认成功,则按照正常业务流程继续处理,无异常处理;
如果获得的反馈结果确认失败,则按照失败业务流程继续处理,提示错误信息;
如果已2次超时并未接收内存缓存系统的反馈结果,则按照异常业务流程继续处理,登记本次批量调度任务异常信息和状态,退出本次调度任务;等待下次调度周期,并反馈提示异常信息。
本发明所提供的快速访问银行客户信息数据的方法及系统实现了大数据存储,通过将最频繁使用的银行客户信息等热点数据加载到内存缓存系统,充分加速客户信息数据的访问速度。上线投产后,整套系统整体运行稳定,维护简洁,访问迅速,完全满足各类银行电子渠道业务数据量和访问量的持续快速增长;具有访问速度快、访问性能高的优点,且和使用普通磁盘的传统关系型数据库相比,由于内存缓存没有过多的操作系统层面的开销和直接的读写方式,可以轻松应付非常大的数据交换量,内存缓存系统本身并不占用多少CPU资源的情况;又因为内存缓存比传统关系型数据库少了SQL解析处理、磁盘操作等开销,所以可以提供比直接读取关系型数据库更好的性能。
整套系统采用了实时访问和定时批量同步的数据访问策略,大大降低了银行客户信息数据库的访问压力,使各类银行电子渠道应用系统的整体访问速度显著提高,极大的提高了银行客户的业务操作体验。而且整套系统充分保证了实时访问银行客户信息的高可用性;当处理数据访问请求时,如果银行客户信息数据存在于本地内存,可直接返回请求方;如果不存在,可触发访问银行客户信息数据库的标准SQL操作,并将数据库返回的结果集返回给请求方;因此,除非请求数据非法或者确实不存在,否则每次访问请求必能获取正常的客户信息数据。
整套系统还具有高并发访问量的优点,内存缓存系统实现了面向稳定的持续通讯连接,具备极大的并发连接处理能力。在内存缓存内部,所有银行客户信息数据结构均为标准<key,value>类型的哈希表;所有的数据查询均使用key的哈希值来执行,因此时间复杂度为1,充分保障了在大数据量情况下的数据查询效率。同时,内存缓存系统实现了水平可扩展性,具有可扩展服务器集群的优点,可以动态向内存缓存服务器集群中增加或减少内存缓存服务器,且由于服务器之间没有相互通信,因此不会增加内存缓存集群的整体负载,也没有多播协议,更不会引发网络通信量爆炸。
本申请提供的快速访问银行客户信息数据的方法和系统实现可以充分减轻海量并发请求访问环境下各类银行电子渠道应用系统对关系型数据库的访问压力,减少系统间交互调用及运算开销,提升整体性能。在超高客户并发的情况下,由于各类银行电子渠道应用系统直接请求访问内存缓存服务器集群,获取存储在其内存空间中的业务对象数据,可以快比传统关系型业务数据库更快的提供相关的数据服务,并能通过内存缓存服务器的横向扩展,有效分散单台服务器的并发访问压力,而更加显著的降低业务数据库的访问压力,极大地提升了银行电子渠道应用系统的响应速度,从本质上解决了超大规模银行客户信息数据在大并发场景下的存取访问速度。
根据压力测试情况,对比了传统实现的系统和采用本方法实现的系统的访问效率,对比结果如表一和图6:
压力场景 | 每秒交易量 | 响应时间 | CPU% |
缓存‐10用户 | 26.728 | 0.365 | 0.7 |
数据库‐10用户 | 4.533 | 2.114 | 86.5 |
缓存‐50用户 | 46.321 | 0.926 | 0.8 |
数据库‐50用户 | 5.282 | 9.101 | 100.0 |
表一:访问速度对比
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种快速访问银行客户信息数据的系统,其特征在于,所述系统包含:银行终端、银行电子渠道应用系统、客户信息数据同步层和内存缓存系统;
所述银行终端与所述银行电子渠道应用系统通信连接,用于根据用户操作指令输出访问请求;
所述银行电子渠道应用系统与所述内存缓存系统通信连接,用于接收所述访问请求并向内存缓存系统发起访问请求和接收反馈结果输出至所述银行终端;
所述内存缓存系统包含复数台服务器,所述复数台服务器分别与所述客户信息数据同步层通信连接,用于接收银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中存储的银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统。
2.根据权利要求1所述的快速访问银行客户信息数据的系统,其特征在于,所述客户信息数据同步层包含银行客户信息数据库,所述银行客户信息数据库用于存储各类银行电子渠道应用系统的客户信息数据。
3.根据权利要求2所述的快速访问银行客户信息数据的系统,其特征在于,所述银行电子渠道应用系统还包含:根据所述访问请求,获得银行客户信息数据库中存储的银行客户信息数据并将所述银行客户信息数据存储至所述内存缓存系统。
4.根据权利要求1所述的快速访问银行客户信息数据的系统,其特征在于,所述银行电子渠道应用系统包含复数个银行电子渠道应用,所述复数个银行电子渠道应用与所述复数台服务器直接连接。
5.根据权利要求2所述的快速访问银行客户信息数据的系统,其特征在于,所述客户信息数据同步层还包含缓存定时批量同步系统,所述缓存定时批量同步系统用于按特定时间周期从银行客户信息数据库获取所述各银行电子渠道应用的银行客户信息数据并分类处理后加载至所述内存缓存系统中存储。
6.一种快速访问银行客户信息数据的方法,其特征在于,所述方法包含:
根据用户操作指令输出访问请求;
银行电子渠道应用系统接收所述访问请求并向内存缓存系统发起访问请求;
内存缓存系统接收到银行电子渠道应用系统发起的访问请求,并根据访问请求查询本地应用内存中银行客户信息数据,根据所述银行客户信息数据,输出反馈结果至所述银行电子渠道应用系统;
银行电子渠道应用系统接收反馈结果并输出至所述银行终端。
7.根据权利要求6所述的快速访问银行客户信息数据的方法,其特征在于,所述快速访问银行客户信息数据的方法还包含:特定时间周期从银行客户信息数据库获取各银行电子渠道应用的客户信息数据并分类处理后加载至内存缓存系统中存储。
8.根据权利要求7所述的快速访问银行客户信息数据的方法,其特征在于,所述获取各银行电子渠道的客户信息数据并分类处理包含:根据银行电子渠道应用的类别对获得的所述客户信息数据进行相应类别的数据加工效验和转换后存储至内存缓存系统中。
9.根据权利要求6所述的快速访问银行客户信息数据的方法,其特征在于,所述根据访问请求查询本地应用内存中银行客户信息数据包含:
内存缓存系统接收到银行电子渠道应用系统的访问请求后,根据访问请求中的参数查询本地应用内存中的银行客户信息数据;
根据查询到的银行客户信息数据,获取相关银行客户信息数据对象,根据所述相关银行客户信息数据对象生成反馈结果,并反馈至银行电子渠道应用系统。
10.根据权利要求8所述的快速访问银行客户信息数据的方法,其特征在于,所述根据访问请求查询本地应用内存中的银行客户信息数据之后还包含:
当内存缓存应用未查询到银行客户信息数据,则根据该银行客户信息数据中的特定查询特征,组织标准的SQL查询语句,获取银行客户信息数据库的连接,向银行客户信息数据库发起标准SQL查询请求;
银行客户信息数据库接收到所述标准SQL查询请求后,查询所述银行客户信息数据,并反馈至内存缓存系统。
11.根据权利要求7所述的快速访问银行客户信息数据的方法,其特征在于,所述特定时间周期从银行客户信息数据库获取各电子银行渠道的客户信息数据并分类处理后加载至内存缓存系统中存储还包含:
对内存缓存系统中银行客户信息数据设置有效时长,根据所述有效时长,在缓存定时批量同步系统中设置对应银行客户信息数据同步任务的调度策略;
所述缓存定时批量同步系统跟据所述数据同步任务的调度策略按时触发数据同步任务;
当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息同步到内存缓存系统中。
12.根据权利要求10所述的快速访问银行客户信息数据的方法,其特征在于,当所述数据同步任务被调起后,与所述银行客户信息数据库建立连接,将所述银行客户信息同步到内存缓存系统中还包含:
如果同步任务正常完成,更新任务状态信息,等待下一次数据同步任务触发;
如果同步任务发生异常,也更新任务状态信息,并根据配置信息,等待重新触发执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510205404.9A CN104866531A (zh) | 2015-04-27 | 2015-04-27 | 快速访问银行客户信息数据的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510205404.9A CN104866531A (zh) | 2015-04-27 | 2015-04-27 | 快速访问银行客户信息数据的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104866531A true CN104866531A (zh) | 2015-08-26 |
Family
ID=53912361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510205404.9A Pending CN104866531A (zh) | 2015-04-27 | 2015-04-27 | 快速访问银行客户信息数据的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104866531A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512222A (zh) * | 2015-11-30 | 2016-04-20 | 中国建设银行股份有限公司 | 数据查询方法及系统和数据读取方法及系统 |
CN107317835A (zh) * | 2017-05-19 | 2017-11-03 | 四川新网银行股份有限公司 | 一种基于轨迹抓取的定位分层客户信息的方法 |
CN107506445A (zh) * | 2017-08-25 | 2017-12-22 | 郑州云海信息技术有限公司 | 云数据系统中数据查询的响应方法和装置 |
CN107808338A (zh) * | 2016-09-28 | 2018-03-16 | 平安科技(深圳)有限公司 | 一种业务处理方法及终端 |
CN108650294A (zh) * | 2018-04-03 | 2018-10-12 | 中国银行股份有限公司 | 技术系统间交易信息传递方法及装置 |
CN109150929A (zh) * | 2017-06-15 | 2019-01-04 | 北京京东尚科信息技术有限公司 | 高并发场景下的数据请求处理方法和装置 |
CN110221988A (zh) * | 2019-05-05 | 2019-09-10 | 福建天泉教育科技有限公司 | 一种第三方数据的缓存优化方法及系统 |
CN111125168A (zh) * | 2019-11-07 | 2020-05-08 | 网银在线(北京)科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN113986429A (zh) * | 2021-10-27 | 2022-01-28 | 上海倍通医药科技咨询有限公司 | 一种基于客户咨询的渠道数据快速反馈系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120215858A1 (en) * | 2011-02-23 | 2012-08-23 | International Business Machines Corporation | Caching potentially repetitive message data in a publish-subscription environment |
CN103186552A (zh) * | 2011-12-28 | 2013-07-03 | 北京新媒传信科技有限公司 | 一种业务服务中客户端访问数据的方法和系统 |
CN103716375A (zh) * | 2013-12-05 | 2014-04-09 | 北京用友政务软件有限公司 | 基于分布式缓存的多级财政数据交互方法及系统 |
CN104123235A (zh) * | 2013-04-26 | 2014-10-29 | 国际商业机器公司 | 访问存储在服务器上高速缓存中的数据记录的设备和方法 |
-
2015
- 2015-04-27 CN CN201510205404.9A patent/CN104866531A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120215858A1 (en) * | 2011-02-23 | 2012-08-23 | International Business Machines Corporation | Caching potentially repetitive message data in a publish-subscription environment |
CN103186552A (zh) * | 2011-12-28 | 2013-07-03 | 北京新媒传信科技有限公司 | 一种业务服务中客户端访问数据的方法和系统 |
CN104123235A (zh) * | 2013-04-26 | 2014-10-29 | 国际商业机器公司 | 访问存储在服务器上高速缓存中的数据记录的设备和方法 |
CN103716375A (zh) * | 2013-12-05 | 2014-04-09 | 北京用友政务软件有限公司 | 基于分布式缓存的多级财政数据交互方法及系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512222A (zh) * | 2015-11-30 | 2016-04-20 | 中国建设银行股份有限公司 | 数据查询方法及系统和数据读取方法及系统 |
CN107808338A (zh) * | 2016-09-28 | 2018-03-16 | 平安科技(深圳)有限公司 | 一种业务处理方法及终端 |
CN107317835A (zh) * | 2017-05-19 | 2017-11-03 | 四川新网银行股份有限公司 | 一种基于轨迹抓取的定位分层客户信息的方法 |
CN109150929B (zh) * | 2017-06-15 | 2021-11-12 | 北京京东尚科信息技术有限公司 | 高并发场景下的数据请求处理方法和装置 |
CN109150929A (zh) * | 2017-06-15 | 2019-01-04 | 北京京东尚科信息技术有限公司 | 高并发场景下的数据请求处理方法和装置 |
CN107506445A (zh) * | 2017-08-25 | 2017-12-22 | 郑州云海信息技术有限公司 | 云数据系统中数据查询的响应方法和装置 |
CN108650294A (zh) * | 2018-04-03 | 2018-10-12 | 中国银行股份有限公司 | 技术系统间交易信息传递方法及装置 |
CN110221988A (zh) * | 2019-05-05 | 2019-09-10 | 福建天泉教育科技有限公司 | 一种第三方数据的缓存优化方法及系统 |
CN110221988B (zh) * | 2019-05-05 | 2021-04-30 | 福建天泉教育科技有限公司 | 一种第三方数据的缓存优化方法及系统 |
CN111125168A (zh) * | 2019-11-07 | 2020-05-08 | 网银在线(北京)科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN111125168B (zh) * | 2019-11-07 | 2023-11-03 | 网银在线(北京)科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN113986429A (zh) * | 2021-10-27 | 2022-01-28 | 上海倍通医药科技咨询有限公司 | 一种基于客户咨询的渠道数据快速反馈系统 |
CN113986429B (zh) * | 2021-10-27 | 2023-12-22 | 上海倍通医药科技咨询有限公司 | 一种基于客户咨询的渠道数据快速反馈系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866531A (zh) | 快速访问银行客户信息数据的方法及系统 | |
CN102663649B (zh) | 金融衍生品交易系统 | |
US7617152B2 (en) | Bankcard transaction exchange system | |
CN107705113B (zh) | 一种基于Baas架构的区块链跨境跨行支付方法和系统 | |
EP4202694A1 (en) | Node memory-based data processing method and apparatus, device, and medium | |
CN104850509A (zh) | 一种银行业务数据内存缓存的操作方法及系统 | |
CN108536778A (zh) | 一种数据应用共享平台及方法 | |
Xin et al. | On scaling and accelerating decentralized private blockchains | |
CN107194810B (zh) | 资产配置系统和操作方法 | |
CN101887388A (zh) | 基于内存数据库的数据备份系统和方法 | |
CN111614709A (zh) | 基于区块链的分区交易方法及系统 | |
CN106027534A (zh) | 一种基于Netty实现金融报文处理系统 | |
CN107734017A (zh) | 数据服务方法及系统 | |
CN106993049A (zh) | 一种基于云计算的通用航空企业运营综合管理系统 | |
CN111127257A (zh) | 一种基于区块链的房产信息管理平台 | |
CN110533481A (zh) | 广告投放方法、装置及广告播放端 | |
CN110365736A (zh) | 一种分布式部署的话费后端平台 | |
CN101547414B (zh) | 短信计费系统及方法 | |
CN106326786A (zh) | 一种基于nfc芯片防伪认证的自动批量处理方法 | |
CN110889765B (zh) | 交易信息报送方法及装置 | |
CN101242299A (zh) | 数据枢纽—业务支撑系统网络化方法 | |
CN108960801A (zh) | 基于区块链技术的交易记录管理方法、系统及存储介质 | |
CN108629582A (zh) | 业务处理方法及装置 | |
CN102890810B (zh) | 一种新型银行卡交易交换系统 | |
CN110956369B (zh) | 一种分布式虚拟电厂电能分配系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150826 |