CN111694865A - 基于分布式系统的四层结构数据获取方法和装置 - Google Patents

基于分布式系统的四层结构数据获取方法和装置 Download PDF

Info

Publication number
CN111694865A
CN111694865A CN202010489433.3A CN202010489433A CN111694865A CN 111694865 A CN111694865 A CN 111694865A CN 202010489433 A CN202010489433 A CN 202010489433A CN 111694865 A CN111694865 A CN 111694865A
Authority
CN
China
Prior art keywords
data
cache
database
public
local cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010489433.3A
Other languages
English (en)
Inventor
陈兴
郑显凌
詹福程
彭兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010489433.3A priority Critical patent/CN111694865A/zh
Publication of CN111694865A publication Critical patent/CN111694865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于分布式系统的四层结构数据获取方法和装置，该方法包括：接收用户发送的业务处理请求；若执行所述业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据，即将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。

Description

基于分布式系统的四层结构数据获取方法和装置
技术领域
本发明涉及分布式技术领域，尤其涉及一种基于分布式系统的四层结构数据获取方法和装置。
背景技术
随着大数据、分布式技术的发展，缓存技术也得到了广泛的应用。对于数据量不大的系统来说，单点缓存服务器能够快速响应用户的读写请求，减轻数据库服务器的压力，但是，对于时效性要求高且并发量大的系统而言，单点缓存服务器不能快速响应用户请求，需要采用分布式缓存系统来存储数据。
传统的做法通常是，简单采用NoSQL与关系型数据库相结合的方式，其中，NoSQL作为缓存数据库，存储系统运行过程中需要经常访问的数据，当有读请求到达时，首先检查缓存数据库中是否存在目标数据，若是则直接从缓存数据库返回目标数据，否则进一步查询关系型数据库来获取目标数据并返回，同时将查询结果写入缓存数据库，但是，这种做法存在一定的局限性：对所有的数据一概而论，在第一次收到读请求时，都必须先从关系型数据库中获取目标数据，在并发量很大的情况下，会给关系型数据库造成压力，严重影响系统性能。
发明内容
针对现有技术中的问题，本发明提供一种基于分布式系统的四层结构数据获取方法和装置、电子设备以及计算机可读存储介质，将业务数据(系统运行过程中才会产生的数据)和其他数据(很长一段时间内固定不变或者是变化不大的数据)进行区分，能够至少部分地解决现有技术中存在的问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，提供一种基于分布式系统的四层结构数据获取方法，包括：
接收用户发送的业务处理请求；
若执行该业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据。
进一步地，该依序在本地缓存、远程数据库、公共服务器缓存以及公共数据库中调用直至得到目标数据，包括：
判断该本地缓存是否存在该目标数据；
若否，向该远程数据库发送数据调用请求；
若接收到该远程数据库反馈的目标数据，则利用该目标数据进行业务处理，并将该目标数据存入该本地缓存。
进一步地，该依序在本地缓存、远程数据库、公共服务器缓存以及公共数据库中调用直至得到目标数据，还包括：
若接收到该远程数据库反馈的不存在目标数据的消息，则向该公共服务器发送数据调用请求，以使该公共服务器依序从该公共服务器缓存以及该公共数据库中调用；
若接收到该公共服务器反馈的目标数据，则利用该目标数据进行业务处理，并将该目标数据存入该本地缓存。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
根据预设条件从该远程数据库获取数据加载至该本地缓存。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
在该本地缓存中存储业务数据并将该业务数据发送至该远程数据库。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
接收用户发送的服务调用请求；
将该服务调用请求转发至该公共服务器。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
接收数据更新指令；
将该数据更新指令中包括的更新数据加载至该本地缓存中。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
接收缓存配置参数；
根据该缓存配置参数管理该本地缓存中的数据。
第二方面，提供一种业务服务器，包括：
业务处理请求接收模块，接收用户发送的业务处理请求；
数据逐层调用模块，若执行该业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据。
第三方面，提供一种基于分布式系统的四层结构数据获取方法，包括：
接收业务服务器发送的数据调用请求；
判断本地缓存是否存在目标数据；
若否，向公共数据库发送数据调用请求；
若接收到该公共数据库反馈的目标数据，则将该目标数据发送至该业务服务器以及远程数据库，并将该目标数据存入该本地缓存。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
接收数据更新指令；
将该数据更新指令中包括的更新数据加载至该本地缓存中。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
接收缓存配置参数；
根据该缓存配置参数管理该本地缓存中的数据。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
根据预设条件从该公共数据库获取数据加载至该本地缓存以及该远程数据库。
进一步地，基于分布式系统的四层结构数据获取方法还包括：
在该本地缓存中存储服务数据并将该服务数据发送至该远程数据库以及该公共数据库。
第四方面，提供一种公共服务器，包括：
数据调用请求接收模块，接收业务服务器发送的数据调用请求；
判断模块，判断本地缓存是否存在目标数据；
数据调用请求发送模块，若本地缓存不存在该目标数据，向公共数据库发送数据调用请求；
目标数据发送模块，若接收到该公共数据库反馈的目标数据，则将该目标数据发送至该业务服务器以及远程数据库；
目标数据缓存模块，若接收到该公共数据库反馈的目标数据，则将该目标数据存入该本地缓存。
第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现上述的基于分布式系统的四层结构数据获取方法的步骤。
第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于分布式系统的四层结构数据获取方法的步骤。
本发明提供一种基于分布式系统的四层结构数据获取方法和装置、电子设备以及计算机可读存储介质，该方法包括：接收用户发送的业务处理请求；若执行所述业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据，即将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例的一种系统架构示意图；
图2是本发明实施例中的基于分布式系统的四层结构数据获取方法的流程示意图一；
图3示出了图2中步骤S200的具体步骤；
图4是本发明实施例中的基于分布式系统的四层结构数据获取方法的流程示意图二；
图5是本发明实施例中的基于分布式系统的四层结构数据获取方法的流程示意图三；
图6示出了本发明实施例中静态数据加载、同步方案；
图7示出了本发明实施例中动态数据读取、同步方案；
图8示出了本发明实施例中缓存失效与清理方案；
图9示出了本发明实施例的分阶段场景方案；
图10是本发明实施例中的业务服务器的结构框图；
图11是本发明实施例中的基于分布式系统的四层结构数据获取方法的流程示意图四；
图12是本发明实施例中的公共服务器的结构框图；
图13为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提出的一种基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题。通过对应用做分层解耦，并整合缓存技术，设计出一套合理的数据存储、获取及同步的流程，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
本发明提供的方案包括三大特点：多集群、多层次、分场景。多集群是指在分布式系统中，各个子系统及相应的数据库都会采用集群模式，以此发挥集群的可扩展性、高可用性优势；多层次有两层含义，其一是指分布式系统的各个子系统均需要用到缓存，且存在共用缓存的情形，其二是指某个子系统收到获取数据的调用请求时，可能需要先后从本地缓存、远程数据库、其他子系统的本地缓存、远程数据库，甚至关系型数据库中获取数据；分场景是指对系统运行过程中产生的业务数据和其他变化小甚至无变化的数据采取不同读写策略。
图1为本发明实施例的一种系统架构示意图；如图1所示，整体部署一共有四层，分别是公共数据库组1、公共服务器组2、远程数据库组3、业务服务器组4，每个组都是一个独立的集群，符合多集群的特点。
公共数据库组1可以是一个一主三备的高可用数据库集群，能够保障当主库出现异常的时候，可以进行主从切换，即从正常的备库中根据负载均衡算法选举出一个备库作为新的主库，保障系统的正常运转。集群中的数据库多使用关系型数据库，例如Mysql，主要功能是用于存储系统运行过程中改动小甚至无改动的数据，例如银行卡bin、地区对照关系、网点对照关系等。
公共服务器组2可以是一个包含两台服务器的集群，这两台服务器是完全一样的，它们同时对外提供服务。公共服务器上提供的服务是从各种不同业务中剥离出来的公共部分，比如数据加工和处理业务，当公共服务器组收到服务调用请求时，会从两台服务器中随机选择一台服务器来响应调用请求。除了与公共数据库组1和远程数据库组3之间进行数据交互之外，公共服务器还需要与服务器自身的内存之间进行数据交互，即本地缓存。
远程数据库组3可以是由一主一备两台远程数据库组成的集群，既能存储从公共数据库中获取到的数据，也能存储分布式系统运行过程中所产生的业务数据。远程数据库一般采用非关系型数据库(NoSql)作为缓存数据的存储介质，比较常用的有Redis、Memcache。远程数据库组3启动成功之后，会一直等待公共服务器组2和业务服务器组4的连接，进而为其提供数据存储和获取的服务。远程存储是用作本地缓存的辅助手段，当公共服务器组2或者业务服务器组4能够从本地缓存中直接获取到需要的数据时，则不必再向远程存储组发送数据交互请求。
业务服务器组4可以是一个包含4台业务服务器的集群，与公共服务器组2类似，这4台服务器是完全一样的，并且同时对外提供服务。业务服务器提供的服务是业务主要逻辑部分，当业务服务器组收到服务调用请求时，会从4台服务器中随机选择一台服务器来响应调用请求，在此过程中，业务服务器可能会调用公共服务器提供的服务，从而间接的与公共数据库组1产生数据交互。业务服务器与远程数据库组3之间的数据交互有两种情形，一是该服务器自身产生的数据，二是调用公共服务器获取到的数据，这部分数据对于公共服务器和业务服务器而言是共用的。除此之外，业务服务器也会和远程数据库组3以及服务器自身内存(即本地缓存)之间进行数据交互，值得说明的是，业务服务器不与公共数据库直接交互，而是通过公共服务器调用公共数据库中的数据。
综上所述，技术方案中所涉及的四个集群之间的关系是：公共服务器组2可以从公共数据库组1和远程数据库组3中获取数据，并且可以向其中存储数据；对于公共服务器组2和业务服务器组4而言，远程数据库组3是公用的，即公共服务器组2和业务服务器组4可以对存储在远程数据库上的同一份数据进行读写操作；业务服务器组4不仅可以从远程数据库组3获取数据并向其中存储数据，还可以调用公共服务器组2提供的服务，进而通过公共服务器组2间接地访问公共数据库组1，来完成数据交互的操作。
通过采用上述技术方案，能够提高获取数据的速度，而且数据同步快。针对业务数据与其他在系统运行过程变化小的数据，分别采取适合的读写，同步策略。此外，本方案整合了成熟的缓存技术，合理运用本地缓存和远程数据库，并统一采用先本地，后远程的读取模式。由于读取远程数据库会存在一定的网络延时，从本地缓存获取数据的效率要比从远程数据库获取数据的效率高出很多，本方案提出在公共服务器启动时或通过设置定时任务，将关系型数据库中的数据加载到公共服务器的本地缓存中，从而使系统运行过程中获取数据的速率能得到大幅提升。
图2是本发明实施例中的基于分布式系统的四层结构数据获取方法的流程示意图一；如图2所示，该基于分布式系统的四层结构数据获取方法可以由业务服务器组中的任一服务器执行，该方法具体可以包括以下内容：
步骤S100：接收用户发送的业务处理请求；
其中，用户通过终端设备向业务处理服务器发送业务处理请求。终端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
另外，服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
步骤S200：判断执行所述业务处理请求是否需要调用数据；
若是，执行步骤S300；若否，执行步骤S400。
具体地，判断执行所述业务处理请求是否需要调用数据可以至少包括以下两种方式：
第一种：根据预存储的不同业务处理请求对应的处理流程，在进行业务处理之前根据业务处理请求就判断出是否需要调用数据；
第二种：接收到业务处理请求之后就执行对应的业务处理流程，处理过程中需要调用数据时，得到需要调用数据的结果。
步骤S300：依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据；
具体地，先在本地缓存调用，若调用成功，则调用结束；若本地缓存没有目标数据，则在用于存储第一类数据的远程数据库调用，若调用成功，则调用结束，并将数据加载到本地缓存中，若远程数据库中没有目标数据，则在公共服务器缓存中调用，若调用成功，则调用结束，并将数据加载到远程数据库和业务处理服务器的本地缓存，若公共服务器缓存中没有目标数据，则公共服务器向公共数据库中调用，若调用成功，则调用结束，并将数据加载至直至本地缓存、远程数据库以及公共服务器缓存，若公共数据库中没有目标数据，则调用失败，返回调用失败的消息。
值得说明的是，第一类数据可以是业务处理过程中变动比较大的数据；第二类数据可以是运行过程中改动小甚至无改动的数据，例如银行卡bin、地区对照关系、网点对照关系等。
步骤S400：执行业务处理。
具体地，当业务处理请求不需要调用数据时，根据预设的业务处理流程执行业务处理。
本发明实施例提供的基于分布式系统的四层结构数据获取方法，将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
在一个可选的实施例中，参见图3，该步骤S200可以包括以下内容：
步骤S201：判断所述本地缓存是否存在所述目标数据；
若是，执行步骤S202；若否，执行步骤S203；
其中，本地缓存中的数据以键值对的形式保存。
步骤S202：利用所述目标数据进行业务处理。
步骤S203：向所述远程数据库发送数据调用请求；
具体地，数据调用请求包括想要获取的数据的名称或标识或key值。
值得说明的是，远程数据库接收的数据调用请求后，搜索库中是否存在目标数据，若是，则向业务处理服务器反馈目标数据，若否，则向业务处理服务器反馈不存在目标数据的消息。
其中，业务服务器接收远程数据库的反馈，若反馈为目标数据则执行步骤S204，否则执行步骤S206。
步骤S204：接收到所述远程数据库反馈的目标数据；
步骤S205：利用所述目标数据进行业务处理，并将所述目标数据存入所述本地缓存。
具体地，通过将从远程数据库中获取的本地缓存中没有的目标数据加载到本地缓存中，能够增强本地缓存数据的适应性。
步骤S206：接收所述远程数据库反馈的不存在目标数据的消息；
步骤S207：向所述公共服务器发送数据调用请求，以使所述公共服务器依序从所述公共服务器缓存以及所述公共数据库中调用；
具体地，公共服务器现在其本地缓存中调用，若调用成功，则调用结束，并将数据加载到远程数据库和业务处理服务器的本地缓存，若公共服务器本地缓存中没有目标数据，则公共服务器向公共数据库中调用，若调用成功，则调用结束，并将数据加载至直至本地缓存、远程数据库以及公共服务器缓存，若公共数据库中没有目标数据，则调用失败，返回调用失败的消息。
值得说明的是，公共服务器若调用到目标数据，则执行步骤S208，否则，执行步骤S210。
步骤S208：接收所述公共服务器反馈的目标数据；
步骤S209：利用所述目标数据进行业务处理，并将所述目标数据存入所述本地缓存。
步骤S210：接收到所述公共服务器反馈的不存在目标数据的消息，结束流程。
在一个可选的实施例中，参见图4，该基于分布式系统的四层结构数据获取方法还包括：
步骤S500：根据预设条件从所述远程数据库获取数据加载至所述本地缓存。
具体地，业务服务器以客户端的方式连接到远程数据库，按照指定的查询条件获取数据，然后将获取的数据，以KV(键值对)的形式存储至业务服务器的缓存中，实现静态数据加载。
另外，也可以通过定时任务定时启动业务服务器与远程数据库连接读取数据，然后将数据写入业务服务器的本地缓存中。
在一个可选的实施例中，参见图5，该基于分布式系统的四层结构数据获取方法还可以包括：
步骤S600：在所述本地缓存中存储业务数据并将所述业务数据发送至所述远程数据库。
具体地，业务数据一般变动比较大，在业务服务器进行业务处理时产生的数据加载到本地缓存中，并存储至远程数据库，实现数据存储。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：
步骤I：接收用户发送的服务调用请求；
具体地，用户发送的请求包括服务调用请求、业务处理请求以及数据调用请求等。当用户发送的请求为业务处理请求以及数据调用请求时，执行上述的调用数据流程，当用户发送的是服务调用请求时，直接将服务调用请求转发至公共服务器进行处理，并将处理结果转给用户。
步骤II：将所述服务调用请求转发至所述公共服务器。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还包括：
步骤A：接收数据更新指令；
具体地，当远程数据库中有数据更新或其他需要更新数据的情形，会向业务服务器发送数据更新指令，其中，数据更新指令包括：新增数据指令和数据变动指令两种。
步骤B：将所述数据更新指令中包括的更新数据加载至所述本地缓存中。
具体地，若数据更新指令为新增数据指令，则将新增数据存储至本地缓存，若数据更新指令为数据变动指令时，则基于指令对本地缓存中的数据进行修改。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：接收缓存配置参数；根据所述缓存配置参数管理所述本地缓存中的数据。
由于缓存占用内存空间，所以对缓存数据的清理有利于改善内存的利用率。清理缓存的途径有两种，其中一种是设置缓存的失效时间，超过这个时间，便自动清理缓存，另一种是通过在函数上添加注解，当该函数被调用时，清理指定的缓存。
其中，缓存配置参数可以包括缓存的时效时间或函数、缓存数据量、高峰最大连接数、应急机制、数据生命周期等。
为了使本领域技术人员更好地理解本发明实施例，下面举例对本发明实施例的技术内容进行详细说明：
图6示出了本发明实施例中静态数据加载、同步方案；参见图6，其中，静态是指没有调用请求发生的情形，加载方案是指公共服务器和业务服务器将数据从关系型数据库中加载到服务器自身内存(即缓存)中的方式，比如当数据更新时，需要重新加载数据，同步方案是指数据从内存同步到远程数据库或从远程数据库同步到内存的方式。
公共服务器的静态数据加载、同步方案是从步骤S1000到步骤S3000：
步骤S1000：在数据库安装时，执行数据脚本，新增或更新数据；
具体地，更新公共数据库中的数据，具体方法是编写SQL脚本，其中包含新增语句或者更新语句，然后运行SQL脚本，以。
步骤S2000：公共服务器启动时，读取数据库数据，写入公共服务器的本地缓存，并更新远程数据库；
具体地，将公共数据库中的数据加载到公共服务器的内存中，并将数据同步到远程数据库。具体操作方法是：
一、事先在加载数据的程序上加上注解，使其能够随着Spring容器的启动而执行，这样当公共服务器启动时，该程序得以运行并主动连接公共数据库，根据程序中指定的表名和查询条件，从数据库中获取数据。
二、对从关系型数据库中获取到的数据作相应处理后，再以KV(键值对)的形式保存到内存。通常情况下，会将关系型数据库中表的唯一约束作为K，以某个字段或者是将程序中的某个Bean类转成字符串类型作为K对应的V。
三、公共服务器以客户端的方式连接远程数据库，再将经过处理的数据同步更新到远程数据库上。
步骤S3000，与步骤S2000类似，也是将公共数据库中的数据加载到公共服务器的内存中，并将数据同步到远程数据库。区别在于从公共数据库中加载数据的时间点不一样，步骤S2000是公共服务器启动时即加载，而步骤S3000则是通过配置文件设置定时任务：定时任务可分为两种，其中一种是指定在某个固定时间点执行任务，例如凌晨5点，另一种是指定每间隔一段指定的时间则执行一次任务，例如每间隔两小时，两种定时任务都需要在配置文件中来定义需要定时执行的用于加载数据的程序名。系统启动时会读取配置文件，进而能在指定的时间点启动指定的程序，然后从公共数据库中获取数据并加载到内存中，或者是每间隔一段指定的时间执行一次指定的程序，完成加载数据的操作。
业务服务器的静态数据加载、同步方案是从步骤S4000和步骤S5000：
步骤S4000：业务服务器启动时：读取远程数据库，写入本地缓存。
具体地，从远程数据库中读取数据，并同步到业务服务器的本地缓存中。具体操作方法是：
(1)业务服务器以客户端的方式连接到远程数据库，按照指定的查询条件获取数据。
(2)将第一步中获取的数据，以KV(键值对)的形式存储至业务服务器的内存中。
步骤S5000，与步骤S4000类似，也是从远程数据库中读取数据，并同步到业务服务器的本地缓存中。区别在于获取远程数据库上数据的时间点不一样，步骤S4000是当业务服务器启动时，即从远程存储读取数据，而步骤S5000则是通过配置文件设置定时任务，在定时任务指定的时间点启动业务服务器到远程数据库的连接，并读取数据，然后将获取到的数据写入业务服务器的内存，或者是每间隔一段固定时间启动一次业务服务器到远程数据库之间的连接，完成将数据从远程存储同步到业务服务器内存的过程。
对于步骤S2000至步骤S5000而言，无论是加载，还是同步，都既可能是新增操作也可能是更新操作：当K值不存在时，是新增操作，否则是更新操作。
图7示出了本发明实施例中动态数据读取、同步方案，全面展示了业务交易中获取数据的各种情形，其中动态是指有业务调用请求发生的情形，读取指从缓存或者关系型数据库中获取数据，同步是指将本地缓存中的数据同步到远程数据库，或者是将从远程数据库中获取到的数据同步更新到本地缓存。
步骤S001，当客户发起业务交易，会访问图1中的业务服务器组4，然后由服务器组从集群中随机挑选出一台服务器来完成这笔交易。
步骤S002，如果存在数据读取场景，可采用缓存存储方式以提升读取效率，具体方法采用的是：整合缓存框架Guava Cache和Spring Cache，通过在需要读取数据的程序方法上添加注解的方式，例如@Cacheable(value＝"zoneNo",key＝"#cupZoneNo")，达到的效果是：
当某个加上了该注解的方法被调用时，首先会检查当前服务器的本地缓存，以缓存名称“zoneNo”加下划线“_”，再加缓存Key值，即方法入参“cupZoneNo”对应的值，作为查询条件，若能查到数据，说明命中目标数据，返回查询结果；否则继续检查远程数据库，查询条件与本地缓存的一致，若命中，会返回结果并将该结果存储至本地缓存；若仍未命中，则会执行方法体中的程序以获取数据，并分别以前文中查询缓存时的查询条件作为K，以方法体执行完的结果作为V，保存至本地缓存和远程数据库。
步骤S003，当在步骤S002中查询业务服务器的本地缓存且命中，则会进入步骤S003，得到目标数据，完成服务调用请求，结束交易。
步骤S004，当在步骤S002中查询业务服务器的本地缓存且未命中，则会进入步骤S004，此时业务服务器将会作为客户端连接远程数据库，然后查询远程数据库以获取目标数据。
步骤S005，当在步骤S004中查询远程数据库且命中，则会进入步骤S005，得到目标数据，再以键值对的形式将从远程数据库上获取到的数据保存至业务服务器的内存中。
步骤S006，访问公共服务器的前提是业务交易需要从公共层获取数据。当在步骤S004中查询远程数据库且未命中，则会进入步骤S006。具体方法是：业务服务器通过以RPC(远程服务调用)形式调用公共服务器提供的服务。
步骤S007，读取公共服务器的本地缓存。当公共服务器收到获取数据的调用请求时，首先访问本地缓存。
步骤S008，当步骤S010完成更新远程数据库的操作后，业务服务器收到公共服务器返回的目标数据，并将该数据以键值对形式保存至本地缓存中。
步骤S009，当在步骤S007中查询公共服务器的本地缓存且未命中，则会进入步骤S009，访问公共数据库，以获取目标数据。
步骤S010，当在步骤S007中查询公共服务器的本地缓存且命中，则会进入步骤S010，将从本地缓存中获取到的数据同步到远程数据库中。
步骤S011，当在步骤S009中查询公共数据库且得到目标数据，则会进入步骤S011，将从公共数据库获取到的数据以键值对形式保存至本地缓存中。
图8示出了本发明实施例中缓存失效与清理方案，由于缓存占用内存空间，所以对缓存数据的清理有利于改善内存的利用率。清理缓存的途径有两种，其中一种是设置缓存的失效时间，超过这个时间，便自动清理缓存，另一种是通过在函数上添加注解，当该函数被调用时，清理指定的缓存。
详细的清理方案如下：
步骤S701：连接配置中心；
具体地，各服务器均需要连接配置中心，通过配置中心机制，例如Disconf，配置缓存相关参数，当系统启动后，以客户端的形式连接到配置中心服务端，获取在服务端配置的所有缓存参数，包括缓存失效时间。
步骤S702：设置失效时间；
系统启动时会实例化Guava Cache，并指定缓存空间大小、缓存失效时间等，其中，缓存失效时间包括本地缓存失效时间、远程数据库失效时间。
步骤S703：缓存清理；
如果是通过CacheEvict注解清理缓存，会直接从缓存中删除对应的数据；如果是通过设置失效时间清理缓存，则当发生读或写某个缓存数据时，会判断当前时间与缓存插入时间之差是否超过指定的失效时间，若超过，则从缓存中删除该数据。
步骤S704，添加注释CacheEvict；
在方法上添加CacheEvict注解，例如@CacheEvict(value＝"zoneNo",key＝"#cupZoneNo")，达到的效果是：当某个加上了该注解的方法被调用时，会从内存中删除以“zoneNo”加下划线“_”，再加方法入参“cupZoneNo”对应的值为K的缓存数据。
图9示出了本发明实施例的分阶段场景方案，其中，一种分布式系统下，高并发、频访问场景的数据存储、获取与同步方案分为三个阶段：
步骤S801为第一个阶段，使用场景分析；
从使用场景方面对本发明提出的方案进行分析，首先要明确的是缓存适用于存放应用的热点数据，且对于需要存储到缓存中的数据而言，必须适合采用K-V的数据结构，另外本方案不严格要求缓存数据的完整性和一致性，最后对于写操作频繁的数据，要从应用层面规避读写一致性问题的影响。
步骤S802为第二个阶段，评估阶段；
除了明确步骤S801中的要求之外，还需要考虑如下方面：
(1)缓存数据内容：区分业务数据和其他系统运行过程中变化甚微的数据；
(2)缓存数据量：可通过配置中心来指定缓存的容量大小；
(3)高峰最大连接数；
(4)高峰tps；
(5)服务连续性要求：如7*24或者7*8；
(6)应急机制：搭建高可用缓存集群；
(7)数据生命周期：数据加载、数据更新、数据清理；
步骤S803为第三个阶段，设计阶段；
根据以下几点设计缓存的读写、同步方案：
(1)明确热点数据：可将变化小的数据在系统运行时加载至本地缓存，并在程序中给适用缓存的函数加上注解；
(2)构造适当的数据结构：鉴于缓存采用K-V格式，需结合关系数据库中表的唯一约束和表名，作为缓存的K，以及从缓存中获取数据的查询条件。一般采用字符串作为V的数据结构，如果需要将Bean类作为V，读写缓存时还涉及序列化和反序列化；
(3)设计缓存生命周期：如何将数据库中的数据加载到本地缓存，如何更新缓存，如何清理缓存，在前文均有说明，此处不再赘述。
上述技术方案设计缓存异常处理方案如下：当调用远程数据库获取数据出现异常时，如服务器宕机，会影响读取效率，并发量大的情况下更会对系统造成很大的压力，此时可优先考虑切换到备用服务器。另外，还可以考虑降级和恢复：当出现由于缓存的读取效率导致系统负载超出了预设的上限阈值时，将一些不重要或不紧急的服务进行服务的延迟使用或暂停使用，待宕掉的缓存服务器恢复正常之后，再次恢复被暂停使用的服务。当往远处缓存写数据出现异常，而短时间内有读请求时，可能会导致读到脏数据，可采取的解决方案是将配置中心的缓存开关设置为关。
基于同一发明构思，本申请实施例还提供了一种业务服务器，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于业务服务器解决问题的原理与上述方法相似，因此业务服务器的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图10是本发明实施例中的业务服务器的结构框图。如图10所示，该业务服务器具体包括：业务处理请求接收模块10以及数据逐层调用模块20。
业务处理请求接收模块10接收用户发送的业务处理请求；
数据逐层调用模块20若执行所述业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据。
本发明实施例提供的业务服务器，将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
本发明实施例还提供了一种基于分布式系统的四层结构数据获取方法，参见图11，该基于分布式系统的四层结构数据获取方法可以由公共服务器组中的任一服务器执行，该方法具体可以包括以下内容：
步骤SS1：接收业务服务器发送的数据调用请求；
具体地，当业务服务器在本地缓存以及远程数据库中均调用不到目标数据时，会向公共服务器发送数据调用请求；
值得说明的是，业务服务器与远程服务器之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
步骤SS2：判断本地缓存是否存在目标数据；
若是，执行步骤SS6；若否，执行步骤SS3；
步骤SS3：向公共数据库发送数据调用请求；
具体地，公共数据库接收到数据调用请求后，查询本库中是否存目标数据，若存在，则执行步骤SS4，否则，执行步骤SS5；
步骤SS4:接收公共数据库反馈的目标数据，将所述目标数据发送至所述业务服务器以及远程数据库，并将所述目标数据存入所述本地缓存。
步骤SS5：接收所述公共数据库反馈的不存在目标数据的消息，则结束处理流程。
步骤SS6：将所述目标数据发送至所述业务服务器以及远程数据库。
本发明实施例提供的四层结构数据获取方法，配合业务服务器中的四层结构数据获取方法，将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：
步骤I：接收数据更新指令；
具体地，当远程数据库或公共数据库中有数据更新或其他需要更新数据的情形，会向远程服务器发送数据更新指令，其中，数据更新指令包括：新增数据指令和数据变动指令两种。
步骤II：将所述数据更新指令中包括的更新数据加载至所述本地缓存中。
具体地，若数据更新指令为新增数据指令，则将新增数据存储至本地缓存，若数据更新指令为数据变动指令时，则基于指令对本地缓存中的数据进行修改。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：接收缓存配置参数；根据所述缓存配置参数管理所述本地缓存中的数据。
由于缓存占用内存空间，所以对缓存数据的清理有利于改善内存的利用率。清理缓存的途径有两种，其中一种是设置缓存的失效时间，超过这个时间，便自动清理缓存，另一种是通过在函数上添加注解，当该函数被调用时，清理指定的缓存。
其中，缓存配置参数可以包括缓存的时效时间或函数、缓存数据量、高峰最大连接数、应急机制、数据生命周期等。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：根据预设条件从所述公共数据库获取数据加载至所述本地缓存以及所述公共数据库。
具体地，公共服务器以客户端的方式连接到远程数据库和公共数据库，按照指定的查询条件从公共数据库获取数据，然后将获取的数据，以KV(键值对)的形式存储至公共服务器的缓存以及远程数据库中，实现静态数据加载。
另外，也可以通过定时任务定时启动公共服务器与公共数据库连接读取数据，然后将数据写入公共服务器的本地缓存中。
在一个可选的实施例中，该基于分布式系统的四层结构数据获取方法还可以包括：在所述本地缓存中存储服务数据并将所述服务数据发送至所述远程数据库以及所述公共数据库。
具体地，在公共数据库进行服务处理时产生的数据加载到本地缓存中，并存储至远程数据库和公共数据库，实现数据同步。
基于同一发明构思，本申请实施例还提供了一种公共服务器，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于公共服务器解决问题的原理与上述方法相似，因此公共服务器的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图12是本发明实施例中的公共服务器的结构框图。如图12所示，该公共服务器可以包括：数据调用请求接收模块100、判断模块200、数据调用请求发送模块300、目标数据发送模块400以及目标数据缓存模块500。
数据调用请求接收模块100接收业务服务器发送的数据调用请求；
判断模块200判断本地缓存是否存在目标数据；
数据调用请求发送模块300若本地缓存不存在所述目标数据，向公共数据库发送数据调用请求；
目标数据发送模块400若接收到所述公共数据库反馈的目标数据，则将所述目标数据发送至所述业务服务器以及远程数据库；
目标数据缓存模块500若接收到所述公共数据库反馈的目标数据，则将所述目标数据存入所述本地缓存。
本发明实施例提供的公共服务器，配合业务服务器中的四层结构数据获取方法，将不同类型的数据进行区分，实现基于分布式系统的四层结构数据存储、获取与同步方案，适用于解决高并发、频访问场景下银行分布式系统性能问题，能够显著的减小数据库压力，有效的提高系统性能，使系统能在高并发场景下稳定运行，进而改善用户体验。
上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于分布式系统的四层结构数据获取方法的步骤。
从上述描述可知，本发明实施例提供的电子设备，参见图13，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。
如图13所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于分布式系统的四层结构数据获取方法的步骤。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种基于分布式系统的四层结构数据获取方法，其特征在于，包括：
接收用户发送的业务处理请求；
若执行所述业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据。
2.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，所述依序在本地缓存、远程数据库、公共服务器缓存以及公共数据库中调用直至得到目标数据，包括：
判断所述本地缓存是否存在所述目标数据；
若否，向所述远程数据库发送数据调用请求；
若接收到所述远程数据库反馈的目标数据，则利用所述目标数据进行业务处理，并将所述目标数据存入所述本地缓存。
3.根据权利要求2所述的基于分布式系统的四层结构数据获取方法，其特征在于，所述依序在本地缓存、远程数据库、公共服务器缓存以及公共数据库中调用直至得到目标数据，还包括：
若接收到所述远程数据库反馈的不存在目标数据的消息，则向所述公共服务器发送数据调用请求，以使所述公共服务器依序从所述公共服务器缓存以及所述公共数据库中调用；
若接收到所述公共服务器反馈的目标数据，则利用所述目标数据进行业务处理，并将所述目标数据存入所述本地缓存。
4.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
根据预设条件从所述远程数据库获取数据加载至所述本地缓存。
5.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
在所述本地缓存中存储业务数据并将所述业务数据发送至所述远程数据库。
6.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
接收用户发送的服务调用请求；
将所述服务调用请求转发至所述公共服务器。
7.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
接收数据更新指令；
将所述数据更新指令中包括的更新数据加载至所述本地缓存中。
8.根据权利要求1所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
接收缓存配置参数；
根据所述缓存配置参数管理所述本地缓存中的数据。
9.一种业务服务器，其特征在于，包括：
业务处理请求接收模块，接收用户发送的业务处理请求；
数据逐层调用模块，若执行所述业务处理请求需要调用数据，则依序在本地缓存、用于存储第一类数据的远程数据库、公共服务器缓存以及用于存储第二类数据的公共数据库中调用直至得到目标数据。
10.一种基于分布式系统的四层结构数据获取方法，其特征在于，包括：
接收业务服务器发送的数据调用请求；
判断本地缓存是否存在目标数据；
若否，向公共数据库发送数据调用请求；
若接收到所述公共数据库反馈的目标数据，则将所述目标数据发送至所述业务服务器以及远程数据库，并将所述目标数据存入所述本地缓存。
11.根据权利要求10所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
接收数据更新指令；
将所述数据更新指令中包括的更新数据加载至所述本地缓存中。
12.根据权利要求10所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
接收缓存配置参数；
根据所述缓存配置参数管理所述本地缓存中的数据。
13.根据权利要求10所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
根据预设条件从所述公共数据库获取数据加载至所述本地缓存以及所述远程数据库。
14.根据权利要求10所述的基于分布式系统的四层结构数据获取方法，其特征在于，还包括：
在所述本地缓存中存储服务数据并将所述服务数据发送至所述远程数据库以及所述公共数据库。
15.一种公共服务器，其特征在于，包括：
数据调用请求接收模块，接收业务服务器发送的数据调用请求；
判断模块，判断本地缓存是否存在目标数据；
数据调用请求发送模块，若本地缓存不存在所述目标数据，向公共数据库发送数据调用请求；
目标数据发送模块，若接收到所述公共数据库反馈的目标数据，则将所述目标数据发送至所述业务服务器以及远程数据库；
目标数据缓存模块，若接收到所述公共数据库反馈的目标数据，则将所述目标数据存入所述本地缓存。
16.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8、10至14任一项所述的基于分布式系统的四层结构数据获取方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8、10至14任一项所述的基于分布式系统的四层结构数据获取方法的步骤。
CN202010489433.3A 2020-06-02 2020-06-02 基于分布式系统的四层结构数据获取方法和装置 Pending CN111694865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010489433.3A CN111694865A (zh) 2020-06-02 2020-06-02 基于分布式系统的四层结构数据获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010489433.3A CN111694865A (zh) 2020-06-02 2020-06-02 基于分布式系统的四层结构数据获取方法和装置

Publications (1)

Publication Number Publication Date
CN111694865A true CN111694865A (zh) 2020-09-22

Family

ID=72479203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010489433.3A Pending CN111694865A (zh) 2020-06-02 2020-06-02 基于分布式系统的四层结构数据获取方法和装置

Country Status (1)

Country Link
CN (1) CN111694865A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950370A (zh) * 2021-02-25 2021-06-11 未鲲(上海)科技服务有限公司 业务处理方法、装置、设备及存储介质
CN113127570A (zh) * 2021-05-18 2021-07-16 上海莉莉丝科技股份有限公司 分布式服务器的数据操作方法、系统、设备及存储介质
CN113157604A (zh) * 2021-05-12 2021-07-23 中国农业银行股份有限公司 基于分布式系统的数据获取方法、装置及相关产品
CN113779078A (zh) * 2020-11-17 2021-12-10 北京沃东天骏信息技术有限公司 一种缓存数据的获取方法和装置
CN115374420A (zh) * 2022-10-27 2022-11-22 中安网脉(北京)技术股份有限公司 基于人脸安全验证的跨浏览器高并发数据访问的软件系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
WO2016051436A1 (en) * 2014-10-01 2016-04-07 Renesas Electronics Corporation Data transfer apparatus
CN107231395A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 数据存储方法、装置和系统
CN108132958A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 一种多级缓存数据存储、查询、调度以及处理方法及装置
WO2019085769A1 (zh) * 2017-10-30 2019-05-09 阿里巴巴集团控股有限公司 一种数据分层存储、分层查询方法及装置
CN110753099A (zh) * 2019-10-12 2020-02-04 平安健康保险股份有限公司 分布式缓存系统以及缓存数据更新方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016051436A1 (en) * 2014-10-01 2016-04-07 Renesas Electronics Corporation Data transfer apparatus
CN105183394A (zh) * 2015-09-21 2015-12-23 北京奇虎科技有限公司 一种数据存储处理方法和装置
CN107231395A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 数据存储方法、装置和系统
CN108132958A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 一种多级缓存数据存储、查询、调度以及处理方法及装置
WO2019085769A1 (zh) * 2017-10-30 2019-05-09 阿里巴巴集团控股有限公司 一种数据分层存储、分层查询方法及装置
CN109947787A (zh) * 2017-10-30 2019-06-28 阿里巴巴集团控股有限公司 一种数据分层存储、分层查询方法及装置
CN110753099A (zh) * 2019-10-12 2020-02-04 平安健康保险股份有限公司 分布式缓存系统以及缓存数据更新方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779078A (zh) * 2020-11-17 2021-12-10 北京沃东天骏信息技术有限公司 一种缓存数据的获取方法和装置
CN112950370A (zh) * 2021-02-25 2021-06-11 未鲲(上海)科技服务有限公司 业务处理方法、装置、设备及存储介质
CN113157604A (zh) * 2021-05-12 2021-07-23 中国农业银行股份有限公司 基于分布式系统的数据获取方法、装置及相关产品
CN113157604B (zh) * 2021-05-12 2024-01-30 中国农业银行股份有限公司 基于分布式系统的数据获取方法、装置及相关产品
CN113127570A (zh) * 2021-05-18 2021-07-16 上海莉莉丝科技股份有限公司 分布式服务器的数据操作方法、系统、设备及存储介质
CN115374420A (zh) * 2022-10-27 2022-11-22 中安网脉(北京)技术股份有限公司 基于人脸安全验证的跨浏览器高并发数据访问的软件系统
CN115374420B (zh) * 2022-10-27 2023-01-03 中安网脉(北京)技术股份有限公司 基于人脸安全验证的跨浏览器高并发数据访问的软件系统

Similar Documents

Publication Publication Date Title
CN111694865A (zh) 基于分布式系统的四层结构数据获取方法和装置
CN108121782B (zh) 查询请求的分配方法、数据库中间件系统以及电子设备
CN107656937B (zh) 用于实现读写数据一致性的方法和装置
CN110597910A (zh) 一种异地数据同步方法、装置和系统
CN109639773B (zh) 一种动态构建的分布式数据集群控制系统及其方法
CN111274310A (zh) 一种分布式数据缓存方法及系统
CN110784498B (zh) 一种个性化数据容灾方法及装置
CN113094430B (zh) 一种数据处理方法、装置、设备以及存储介质
CN113220795B (zh) 基于分布式存储的数据处理方法、装置、设备以及介质
CN107391033B (zh) 数据迁移方法及装置、计算设备、计算机存储介质
CN113360456B (zh) 数据归档方法、装置、设备以及存储介质
CN110858194A (zh) 一种数据库扩容的方法和装置
CN110837409A (zh) 一种定时执行任务的方法和系统
CN109388351A (zh) 一种分布式数据存储的方法及相关装置
CN111651424B (zh) 一种数据处理方法、装置、数据节点及存储介质
CN113010549A (zh) 基于异地多活系统的数据处理方法、相关设备及存储介质
CN115114374B (zh) 事务执行方法、装置、计算设备及存储介质
CN112948178A (zh) 一种数据处理方法、装置、系统、设备及介质
CN114610680A (zh) 分布式文件系统元数据管理方法、装置、设备及存储介质
CN111897880B (zh) 数据库同步方法、装置、终端设备以及存储介质
CN112948498A (zh) 一种分布式系统全局标识的生成方法和装置
CN112000850A (zh) 进行数据处理的方法、装置、系统及设备
CN116701413A (zh) 主数据处理方法及装置
CN115422165A (zh) 数据库数据迁移方法和数据库
CN111382132A (zh) 医学影像数据云存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922