CN104850509A - 一种银行业务数据内存缓存的操作方法及系统 - Google Patents

Abstract

一种银行业务数据内存缓存的操作方法及系统，包含：银行业务应用系统，内存缓存集群和银行业务数据库；内存缓存集群包含复数个内存缓存服务器；银行业务数据库用于输出银行业务信息数据；银行业务应用系统与内存缓存集群相连，用于接收用户操作请求并根据用户操作请求发出访问请求；内存缓存集群分别与银行业务数据库和银行业务应用系统相连，用于将银行业务信息数据转化为非结构化内存数据结构后存储至内存缓存服务器，及分配对应内存缓存服务器位址信息至银行业务应用系统；查询本地应用内存中的银行业务信息数据，输出反馈结果至银行业务应用系统。以此，提供了完整的简洁而标准化的数据存取访问方法，并提高了在超大规模并发访问场景下银行应用系统的整体交互响应速度。

Description

一种银行业务数据内存缓存的操作方法及系统

技术领域

本发明涉及数据访问领域，尤指一种银行业务数据内存缓存的操作方法及系统。

背景技术

随着交通银行不断扩展为客户提供的各类银行产品及服务，交通银行的各类应用系统呈现出版本快速升级、功能不断创新、功能不断完善、客户数和交易量成海量爆发式增长等发展态势，对应用系统的整体系统架构、性能、维护性等都提出了新的要求。

虽然交通银行各类应用系统在建设、客户容量、系统性能等方面已经取得了长足的进步，但还是存在种种不足，对今后银行业务的发展有所制约。主要体现在：

业务数据访问速度缓慢：由于现有各类银行业务系统均以传统技术设计开发，随着银行业务规模的飞速发展，已经暴露出数据存取速度慢，通讯异常率高、响应速度慢等问题。

以产品为中心的架构：功能按银行产品组织，各应用系统风格不统一，数据模型不统一，给广大客户带来了熟悉和学习的不便，也不便于各个应用系统共享数据。

由于现有银行应用系统的技术实现均采用传统客户端服务器模式，银行业务数据均存储在传统关系型数据库中。当银行客户或行内人员登陆各个业务应用系统进行操作时，均须实时访问各个应用系统的数据库；而传统关系型数据库在数据实时访问性能、海量数据存储能力、超大访问并发性能指标等方面均存在不足。面对着日新月异的银行业务发展状况，当前系统整体的客户数量和访问流量访均已经达到或超过了传统关系型数据库的上限。尤其是在业务高峰期，客户或柜员正常进行业务操作时经常发生通讯超时或其他数据访问异常的现象。

发明内容

本发明目的在于提供一种银行业务数据内存缓存的操作方法及系统，解决传统关系数据库的访问压力，加速操作访问速度，提升用户使用感。

为达上述目的，本发明所提供的银行业务数据内存缓存的操作系统具体包含：银行业务应用系统，内存缓存集群和银行业务数据库；所述内存缓存集群包含复数个内存缓存服务器；所述银行业务数据库，用于输出银行业务信息数据；所述银行业务应用系统与所述内存缓存集群相连，用于接收用户操作请求并根据所述用户操作请求发出访问请求；及接收所述内存缓存集群反馈的所述内存缓存服务器的位址信息后输出所述用户操作请求；所述内存缓存集群分别与所述银行业务数据库和所述银行业务应用系统相连，用于将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器，及根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；根据所述用户操作请求查询本地应用内存中银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

在上述银行业务数据内存缓存的操作系统中，优选的还包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。

在上述银行业务数据内存缓存的操作系统中，优选的还包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。

在上述银行业务数据内存缓存的操作系统中，优选的还包含：当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。

在上述银行业务数据内存缓存的操作系统中，优选的还包含：当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。

本发明还提供一种银行业务数据内存缓存的操作方法，所述方法包含：将银行业务数据库中方然银行业务信息数据转化为非结构化内存数据结构后存储至内存缓存集群中；银行业务应用系统根据用户操作请求向内存缓存集群发出访问请求；内存缓存集群根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；银行业务应用系统根据获得的内存缓存服务器位址，发送所述用户操作请求；所述内存缓存服务器根据所述用户操作请求查询本地应用内存中银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

在上述银行业务数据内存缓存的操作方法中，优选的还包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。

在上述银行业务数据内存缓存的操作方法中，优选的还包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。

在上述银行业务数据内存缓存的操作方法中，优选的还包含：当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。

在上述银行业务数据内存缓存的操作方法中，优选的还包含：当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。

本发明的有益技术效果在于：实现通过分析优化并整合现有各类银行应用系统所共用的银行业务数据和基础参数模型，根据业务数据要素含义不同，采用标准哈希散列算法将之转化为适合存储在内存缓存中的非结构化数据结构，并开发出一套标准化操作接口封装库，供各类客户端和服务器端应用程序采用标准化的存取访问方法直接调用。该方法和系统实现充分减轻了海量并发请求访问环境下各个应用系统对关系型数据库的访问压力，降低各个应用系统间交互调用及运算开销，提升了整体运算访问性能。在超高客户并发访问的情况下，能够比传统关系型业务数据库提供更快的数据存取服务；在客户访问量骤增的业务场景中，也可灵活的横向扩展内存缓存服务器集群，有效分担单台服务器的并发访问压力。通过此方法和系统，能极大提升了各个银行应用系统业务处理速度，并解决了超大规模并发情况下的应用系统的整体交互响应速度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明所提供的银行业务数据内存缓存的操作系统结构图；

图2为本发明所提供的银行业务数据内存缓存的操作系统应用架构图；

图3为本发明所提供的银行业务数据内存缓存的操作方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

请参考图1所示，本发明所提供的银行业务数据内存缓存的操作系统具体包含：银行业务应用系统，内存缓存集群和银行业务数据库；所述内存缓存集群包含复数个内存缓存服务器；所述银行业务数据库，用于输出银行业务信息数据；所述银行业务应用系统与所述内存缓存集群相连，用于接收用户操作请求并根据所述用户操作请求发出访问请求；及接收所述内存缓存集群反馈的所述内存缓存服务器的位址信息后输出所述用户操作请求；所述内存缓存集群分别与所述银行业务数据库和所述银行业务应用系统相连，用于将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器，及根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；根据所述用户操作请求查询本地应用内存中银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

在上述银行业务数据内存缓存的操作系统中，当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。

在上述实施例中，本发明一实施例中所提供的银行业务数据内存缓存的操作系统，主要包括银行业务应用系统、内存缓存系统集群、银行业务数据库三大部分；其中

1、银行业务应用系统：

即各类具体的银行业务应用，数量众多，直接面向银行内外的操作用户，并根据业务流程的详细逻辑实现，将客户操作转化为对内存缓存集群系统的数据访问请求。

2、内存缓存集群系统：

负责在集群内各个缓存服务器的应用进程内存中维护标准化银行业务数据信息的非结构化数据结构，并实现针对银行业务应用系统提供的统一封装的数据操作方法的服务器端逻辑处理；集群列表维护服务器负责周期性维护整个内存缓存集群内所有内存数据服务器的状态列表信息。

3、银行业务数据库：

即传统的关系型数据库，负责存储银行业务数据信息；本系统内所有银行应用系统以及内存缓存集群均以此业务数据库为唯一准确的数据源。

根据目前银行业务发展状况以及银行业务逻辑需求，面向各类数据请求方系统定义了一套标准化封装调用操作方法，并开发了应用程序接口实现库，方便各类数据请求调用方直接使用；具体抽象出了8个标准化操作方法，详细定义和功能描述如下：

在上述银行业务数据内存缓存的操作系统中，优选的还包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。具体的包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。将传统关系型数据表转化为非结构化的数据结构定义，详见下表：

1、基础业务参数信息

2、企业业务信息

3、个人业务信息

4、理财业务信息

5、基金业务信息

再请参考图2所示，图2为本发明所提供的银行业务数据内存缓存的操作系统应用架构图，在图2中本发明所提供的操作系统具体包含三层；

第一层：客户端访问层，即各类银行业务应用系统，集成标准化数据访问操作方法调用库，直接使用标准tcp/ip协议请求访问内存缓存集群。

第二层：内存缓存集群层，即内存缓存集群与集群列表维护服务器采用集群部署模式，在各台服务器的内存中存储非结构化的银行业务参数数据对象，实现标准化的数据访问操作方法的服务器端逻辑，向客户端提供数据存取访问服务；并集成非结构化内存数据与标准SQL的转换逻辑，如有必要则调用数据库封装库直接访问关系型数据库获取业务数据结果集。

第三层：关系型数据库层，即银行业务数据库，存储所有银行业务数据，并向内存缓存集群层提供标准SQL数据访问服务。

在上述实施例中，当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。以此，进一步完善内存缓存服务器本地内存存储的银行业务信息数据，减少用户在进行访问请求时，无法在内存缓存集群中获得数据支持的情况发生。

本发明还提供一种银行业务数据内存缓存的操作方法，具体流程图请参考图3所示，所述方法包含：S301将银行业务数据库中银行业务信息数据转化为非结构化内存数据结构后存储至内存缓存集群中；S302银行业务应用系统根据用户操作请求向内存缓存集群发出访问请求；S303内存缓存集群根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；S304银行业务应用系统根据获得的内存缓存服务器位址，发送所述用户操作请求；S305所述内存缓存服务器根据所述用户操作请求查询本地应用内存中银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

在上述银行业务数据内存缓存的操作方法中，步骤S301中将银行业务数据库中银行业务信息数据转化为非结构化内存数据结构中具体的可包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。其中，上述Map<key,value>结构定义的数据结构在前述表中已具体解释，在此并不做过多解释。

在实施例中，优选的还包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。以此，进一步细化所以银行业务信息数据的类别，根据其银行业务信息数据的不同类别定义不同的参数，使得后期访问操作时，用户可以更及时有效的获得对应的银行业务信息数据，大大增加了用户访问速度及内存缓存集群数据定位处理效率。

在上述实施例中，当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。具体请参考图1至图2所示，当内存缓存集群接收到银行业务应用系统发出的访问请求后，内存缓存集群遍历本地服务器状态列表，分配本次银行业务应用系统请求操作的目标内存缓存服务器，并将此内存缓存服务器的位址信息返回给银行业务应用系统；其后，银行应用系统获取目标内存缓存服务器后，直接发送数据对象操作请求至该内存缓存服务器，并等待返回结果。

在上述实施例中，还包含：当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。

将本发明提供的银行业务数据内存缓存的操作方法运用到实际工作中，具体可如下五步所示：

第一步，内存缓存集群针对各类银行应用系统所需的共用或个性化的银行业务信息数据对象采用标准化的非结构化内存数据结构进行了转换加工，并完成加载存储，供各类应用系统实时存取访问。该步骤中对银行业务信息数据转换加工如上述实施例中给出的Map<key,value>结构定义的数据结构或其他可实施的数据结构，本发明在此并不做限制。

第二步，银行各类客户或柜员的终端机7*24小时对银行业务应用系统进行操作，当各银行业务应用系统进行各类校验规则或业务流程处理时，将产生大量并发的银行业务数据对象访问请求；均需实时访问存取内存缓存集群。

第三步，银行业务应用系统调用标准化操作库中的数据访问方法时，处理流程如下：

首先，银行业务应用系统发出访问请求至内存缓存集群的集群列表维护服务器，该集群列表维护服务器查询内存缓存集群中各个内存缓存服务器的本地服务器状态列表，分配本次客户端请求操作的目标服务器，并将此目标服务器位址信息返回给银行业务应用系统；再次，银行业务应用系统获取目标内存缓存服务器位址信息后，直接发送数据对象的操作请求即用户操作请求，并等待返回结果；最后，银行业务应用系统根据预先设置请求超时时间(默认为10秒)，判断访问请求处理结果，

如果超时则重新发送请求操作(最多3次)；如果超过重发阀值，则移至第七步并进行异常处理；

如未超时，则移至下一步；

第四步，内存缓存数据服务器接收到银行业务应用系统的访问请求时，处理流程如下：

内存缓存服务器先根据访问请求中的key值查询本地应用内存中存储的非结构化数据结构；

如果查询到银行业务数据对象，则进行必要的合法性检查，按照约定的数据对象，组织成功返回报文，正常返回银行业务应用系统；移至第七步。

如果根据请求的key值未能在本地应用内存中查询到业务数据对象，则根据该业务数据对象key值，组织标准的SQL查询语句，向银行业务数据库发起标准SQL查询请求。

第五步，银行业务数据库服务器接收内存缓存集群的标准SQL查询请求，采用传统关系型SQL查询方式访问相关表，最后将查询结果返回给内存缓存数据集群。

第六步，内存缓存数据服务器接收到银行业务数据库的SQL查询数据反馈的查询结果后，进行必要的检查，再转换加工为非结构化内存数据结构，存入本地应用内存，并将该查询结果返回银行业务应用系统。

第七步，银行业务应用系统获取内存缓存服务器返回的查询结果后：

如果正常返回，将业务数据对象操作结果返回上层，继续完成正常业务逻辑处理；

如果异常返回，则抛出异常提示上层调用方按照异常业务流程进行处理。

根据压力测试情况，对比了传统实现的系统和采用本方法实现的系统的访问效率,对比结果如下表所示：

压力场景	每秒交易量	响应时间	CPU％
				内存缓存‐10用户	26.728	0.365	0.7
传统数据库‐10用户	4.533	2.114	86.5
				内存缓存‐50用户	46.321	0.926	0.8
传统数据库‐50用户	5.282	9.101	100.0

由上表不难看出，本发明所提供的银行业务数据内存缓存的操作方法及系统具有以下优点：

第一：采用非结构化方式完全整合银行业务数据；

采用标准化的非结构化内存数据结构，通过分析现有银行应用系统所最常访问的数据，进行抽象整合，将传统关系型数据库的基于关系模型的数据转化为基于标准内存数据结构Map<Key、Value>型数据，充分利用了非结构化数据模型的优势，并完成了银行各类业务处理应用系统所需业务数据信息的整合汇聚。

第二：简洁而标准化的数据存取访问方法；

经过抽象分析，并结合各银行业务系统的实际情况，将最常用的数据访问存取需求转化为8个统一的数据操作方法，简单可靠，扩展性佳，与现有各个银行业务应用系统集成便捷，可实现零侵入式扩展。

第三：相比传统关系型数据库更快的数据存取速度；

使用内存缓存系统，访问性能极高，且和使用普通磁盘的传统数据库相比，由于内存缓存没有过多的操作系统层面的开销和直接的读写方式，内存缓存系统本身并不占用多少CPU资源的情况；又因为内存缓存比传统关系型数据库少了很多SQL解析、磁盘操作等开销，所以可以提供比直接读取数据库更好的性能，大大降低了银行业务信息数据库的访问压力，使交通银行业务系统的整体访问速度显著提高，极大的提高了交通银行客户的各类业务操作体验。

第四：支持超高并发访问请求；

内存缓存集群的客户端调用库和服务器端调用库采用标准TCP/IP协议实现了稳定的持续通讯连接，具备极大的并发连接处理能力；而在内存缓存集群内部，所有银行信息数据结构均为标准<key,value>类型的哈希表；针对数据的各种操作均使用key来执行，时间复杂度均为1，充分保障了在大数据量情况下的数据查询效率，保证了超高并发访问情况下的系统整体效率。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种银行业务数据内存缓存的操作系统，其特征在于，所述系统包含：银行业务应用系统，内存缓存集群和银行业务数据库；

所述内存缓存集群包含复数个内存缓存服务器；

所述银行业务数据库，用于输出银行业务信息数据；

所述银行业务应用系统与所述内存缓存集群相连，用于接收用户操作请求并根据所述用户操作请求发出访问请求；及

接收所述内存缓存集群反馈的所述内存缓存服务器的位址信息后输出所述用户操作请求；

所述内存缓存集群分别与所述银行业务数据库和所述银行业务应用系统相连，用于将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器，及

根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；

根据所述用户操作请求查询本地应用内存中银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

2.根据权利要求1所述的银行业务数据内存缓存的操作系统，其特征在于，所述将所述银行业务信息数据转化为非结构化内存数据结构包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。

3.根据权利要求2所述的银行业务数据内存缓存的操作系统，其特征在于，所述将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。

4.根据权利要求1所述的银行业务数据内存缓存的操作系统，其特征在于，所述内存缓存集群反馈的所述内存缓存服务器的位址信息包含：当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。

5.根据权利要求1所述的银行业务数据内存缓存的操作系统，其特征在于，根据所述访问请求分配对应内存缓存服务器位址信息还包含：

当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；

将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。

6.一种银行业务数据内存缓存的操作方法，其特征在于，所述方法包含：

将银行业务数据库中银行业务信息数据转化为非结构化内存数据结构后存储至内存缓存集群中；

银行业务应用系统根据用户操作请求向内存缓存集群发出访问请求；

内存缓存集群根据所述访问请求分配对应内存缓存服务器位址信息至银行业务应用系统；

银行业务应用系统根据获得的内存缓存服务器位址，发送所述用户操作请求；

所述内存缓存服务器根据所述用户操作请求查询本地应用内存中的银行业务信息数据，根据所述银行业务信息数据，输出反馈结果至所述银行业务应用系统。

7.根据权利要求6所述的银行业务数据内存缓存的操作方法，其特征在于，所述将所述银行业务信息数据转化为非结构化内存数据结构包含：所述内存缓存集群将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构。

8.根据权利要求7所述的银行业务数据内存缓存的操作方法，其特征在于，所述将所述银行业务信息数据转化为Map<key,value>结构定义的数据结构包含：对所述银行业务信息数据进行分类处理，根据分类处理结果，对不同类银行业务信息数据定义不同的key参数及value参数。

9.根据权利要求6所述的银行业务数据内存缓存的操作方法，其特征在于，所述内存缓存集群根据所述访问请求分配对应内存缓存服务器位址信息包含：当接收到所述银行业务应用系统发出的访问请求后，所述内存缓存集群根据所述访问请求获得目标内存缓存服务器位址信息，将所述目标内存缓存服务器位址信息反馈输出。

10.根据权利要求6所述的银行业务数据内存缓存的操作方法，其特征在于，根据所述访问请求分配对应内存缓存服务器位址信息还包含：

当内存缓存集群中所有内存缓存服务器都未存有所述访问请求对应的银行业务信息数据时，所述内存缓存集群根据所述访问请求，获得银行业务数据库中存储的银行业务信息数据，将所述银行业务信息数据转化为非结构化内存数据结构后存储至所述内存缓存服务器；

将存储有所述银行业务信息数据的所述内存缓存服务器的位址信息反馈至所述银行业务应用系统。