CN105787124A

CN105787124A - 应用于数据库的数据处理方法、装置及数据存储系统

Info

Publication number: CN105787124A
Application number: CN201610182364.5A
Authority: CN
Inventors: 邢磊; 徐俊; 高斐; 倪鸣; 倪一鸣
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2016-03-28
Filing date: 2016-03-28
Publication date: 2016-07-20

Abstract

本发明公开了一种应用于数据库的数据处理方法、装置及数据存储系统，其中，所述方法包括：根据查询请求中的查询参数查询分布式缓存中的分区索引以获取所述查询参数对应的分区键；如果未从所述分布式缓存中获取到所述分区键，则根据所述查询参数查询索引库中的分区索引以获取所述分区键；根据所述分区键访问数据库。采用本发明，能够有效避免单一索引库带来的性能瓶颈和单点风险，提升系统的高可用性。

Description

应用于数据库的数据处理方法、装置及数据存储系统

技术领域

本发明涉及数据处理领域，更为具体而言，涉及一种应用于数据库的数据处理方法、装置及数据存储系统。

背景技术

分库分表的核心在于分区算法和分区索引。比如采用一致性hash(哈希)算法对数据记录的某个属性(比如，客户编号)进行分区，能够达到数据记录在各个分库及分表中的尽量均衡。然而分库分表后也带来了局限。因为是对数据记录的某个属性(比如，客户编号)进行的分区，当查询参数不是该属性(比如，客户编号)而是其他属性(比如，卡号)时，则无法根据查询参数获取具体的数据分库和分表，从而使得整个交易无法进行。

为了解决该问题，现有的分库分表的方案中，通常会使用一个数据库来存放分区索引，即分区键与其他属性的对应关系。我们称这个数据库为索引库。当输入的查询参数不是分区键(比如客户编号)而是其他属性(比如卡号)时，首先从分区索引中查询该卡号对应的分区键(客户编号)，然后依据该分区获取分库分表的信息并进行后续的操作。而且上述处理流程在每次查询参数不包含分区键的情况下，都会发生。

然而这种做法的问题在于，在高并发联机交易处理系统中，每次查询参数不包含分区键的情况，都要去访问索引库，对这个单一的索引库会造成很大的性能压力。同时，由于索引库本身无法分库分表，所以索引库也存在单点风险，这对于分库分表方案想要达到的高可用，降低单点风险的目标，是一个不可回避的破坏。

更具体而言，以中国建设银行的信用卡系统为例。建行的信用卡系统属于建行十分重要的对客服务系统，提供信用卡发卡、授权、客户服务等多项业务功能，现有发卡量大约1.2亿，日均交易量达到7000多万，交易峰值tps(每秒事务处理量)能达到3000tps。对于这样一个高并发联机交易处理系统，不采用分库分表技术是无法保证其访问性能的。

基于建行信用卡系统的自身特点，以及以客户为中心的理念，建行信用卡系统的分库分表方案，选取客户编号作为分区键，通过一致性hash算法对客户编号进行hash，将信用卡业务数据按照客户编号分成1024个篮子(即，数据库表)，均匀分布到N个数据库(即DB1…DBn)的M张表中。其中N*M＝1024。对于查询参数是客户编号的情况下，系统会依据分区键(即客户编号)，按照一致性hash算法，计算出篮子编号(即数据库编号)，得到数据库编号(比如DBN)，从而获取连接到该数据库中进行数据访问。

然而信用卡系统目前的业务中，还有很大一部分是基于卡号和账号的，比如查询信用卡余额等等。这时查询参数中上送的往往不是客户号，而且一个卡号或者是一个账号。此时，首先需要依据卡号或账号，获取对应的客户号，然后再依据上述的流程，获取对应的数据库表编号和数据库编号，从而进行数据访问。通常情况下，卡号或账号与客户号的对应关系被称为分区索引，存放于某一数据库中，该数据库被称作索引库。这就意味着，当上送的查询参数是卡号或账号时，需要首先去索引库中查询该卡号或账号对应的客户号，进而进行后续的操作。

目前存放卡号、账号、客户号对应关系的索引库，大约的数据量在1.2亿以上，随着发卡量的增加，还会继续增加。由于索引库就是进行分区索引的，自然本身无法再进行分库分表。所以该数据量也无法通过分库分表的方式进行均摊。依据上述的方法，每次当上送的查询参数是卡号或账号时，都要去访问一次索引库。但是，一方面，这对于数据量如此大且并发访问很高的信用卡业务而言，单一的索引库根本难以支撑。另一方面，在分库分表环境下，由于上送查询参数为卡号或账号时，必须通过索引库获取客户号，才能进行后续数据访问操作，当单一的索引库出现宕机时，整个分库分表环境下的业务，都会受到影响，存在着很大的单点风险。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种应用于数据库的数据处理方法、装置及数据存储系统，能够有效避免单一索引库带来的性能瓶颈和单点风险，提升系统的高可用性。

具体地，本发明实施方式提供了一种应用于数据库的数据处理方法，其包括：

根据查询请求中的查询参数查询分布式缓存中的分区索引以获取所述查询参数对应的分区键；

如果未从所述分布式缓存中获取到所述分区键，则根据所述查询参数查询索引库中的分区索引以获取所述分区键；

根据所述分区键访问数据库。

相应地，本发明实施方式还提供了一种应用于数据库的数据处理装置，其包括：

第一查询模块，用于根据查询请求中的查询参数查询分布式缓存中的分区索引以获取所述查询参数对应的分区键；

第二查询模块，用于在所述第一查询模块未获取到所述分区键时，根据所述查询参数查询索引库中的分区索引以获取所述分区键；

数据访问模块，用于根据所述分区键访问数据库。

此外，本发明实施方式还提供了一种数据存储系统，其包括：

分布式缓存，用于存储用以查询查询参数与分区键的对应关系的分区索引；

索引库，用于存储用以查询查询参数与分区键的对应关系的分区索引；

数据库，用于存储与所述分区键相关的数据。

采用本发明实施方式，具有以下有益效果：

1：由于分布式缓存具有很好的横向扩展能力和高并发支持能力，所以对于诸如高并发联机交易处理系统之类的系统，分布式缓存能有效避免单一索引库带来的性能瓶颈问题。

2：由于分布式缓存本身是集群部署的，具有很好的横向扩展能力，避免了单一索引库导致的单点风险。

3：采用本发明实施例，即使分布式缓存出现异常宕机，也可以自动切换至访问索引库，从而不会影响正常的业务运行，对于系统的高可用有了明显的提升。

附图说明

图1是根据本发明实施例的一种应用于数据库的数据处理方法的流程示意图；

图2是根据本发明实施例的一种应用于数据库的数据处理装置的框图的一例；

图3是根据本发明实施例的一种数据存储系统的框图的一例；

图4是根据本发明实施例的一种数据处理系统及相关处理的示意图。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

首先，对本发明涉及或可能涉及到的名称/属于进行解释。

分布式缓存：一种在分布式环境下的缓存技术，用于提供数据共享缓存与访问，可通过横向扩展的方式，支持高并发和低响应时间的数据请求。

分库分表：一种数据库横向扩展的方式。通过一定的分区算法，将原本在单一数据库中的数据，尽量均衡的分布到多个数据库的多张表中，以降低单表的数据量，提升数据访问性能，同时也降低单个数据库导致的单点风险。

分区键：分库分表中按照一定的算法对数据记录中的某个属性进行尽量均衡的分布。

分区索引：分区键与数据记录其他属性之间的对应关系。

索引数据库：分区索引所存放的数据库。

图1是根据本发明实施例的一种应用于数据库的数据处理方法的流程示意图。参照图1，所述方法包括：

10：根据查询请求中的查询参数查询分布式缓存中的分区索引以获取所述查询参数对应的分区键。

需要说明的是，一条数据记录可以包含多个属性，其中被用以进行分库分表的属性即分区键。在本实施例中，查询参数是指分区键之外的任意一个/多个属性。

12：如果获取到所述分区键，则执行处理16。否则，执行处理14。

14：根据所述查询参数查询索引库中的分区索引以获取所述分区键。

16：根据所述分区键访问数据库。

可选地，在本实施例的一种实现方式中，在所述分布式缓存不可用时(例如，因故障而宕机)，根据所述查询参数查询索引库中的分区索引以获取所述分区键。即，在分布式缓存不可用时，直接访问索引库而不执行处理10。

采用本发明实施例提供的方法，一方面，由于分布式缓存具有很好的横向扩展能力和高并发支持能力，所以对于诸如高并发联机交易处理系统之类的系统，分布式缓存能有效避免单一索引库带来的性能瓶颈问题。另一方面，由于分布式缓存本身是集群部署的，具有很好的横向扩展能力，所以也不存在单一索引库导致的单点风险。再一方面，采用本发明实施例，即使分布式缓存出现异常宕机，也可以自动切换至访问索引库，从而不会影响正常的业务运行，对于系统的高可用有了明显的提升。

可选地，在本实施例的一种实现方式中，所述方法还包括：在所述查询请求中包含所述分区键时，直接根据所述分区键访问数据库。

可选地，在本实施例的一种实现方式中，如图1中虚线框所示，所述方法还包括：

18：根据所述查询参数与所述分区键的对应关系更新所述分布式缓存中的分区索引。这样，能够保证分布式缓存与索引库的数据一致性，提高后续的查询效率。

可选地，在本实施例的一种实现方式中，先更新所述索引库中的分区索引，再更新所述分布式缓存中的分区索引。例如，在进行批量数据更新或联机数据更新服务时，如果涉及到对分区索引的更新，则按照本实现方式进行处理。

可选地，在本实施例的一种实现方式中，数据库是指根据所述分区键分库分表的数据库。

图2是根据本发明实施例的一种应用于数据库的数据处理装置的框图的一例。参照图2，数据处理装置包括第一查询模块20、第二查询模块21和数据访问模块22，下面分别进行说明。

在本实施例中，第一查询模块20用于根据查询请求中的查询参数查询分布式缓存中的分区索引以获取所述查询参数对应的分区键。第二查询模块21用于在所述第一查询模块20未获取到所述分区键时，根据所述查询参数查询索引库中的分区索引以获取所述分区键。数据访问模块22用于根据所述分区键访问数据库。

可选地，在本实施例的一种实现方式中，如图2中虚线框所示，数据处理装置还可以包括数据访问模块触发模块23，用于在所述查询请求中包含所述分区键时，直接触发所述数据访问模块22。

可选地，在本实施例的一种实现方式中，如图2中虚线框所示，数据处理装置还可以包括第一更新模块24，用于在所述第二查询模块21获取所述分区键之后，根据所述查询参数与所述分区键的对应关系更新所述分布式缓存中的分区索引。

可选地，在本实施例的一种实现方式中，如图2中虚线框所示，数据处理装置还可以包括第二更新模块25，用于按照先更新所述索引库中的分区索引，再更新所述分布式缓存中的分区索引的顺序更新分区索引。

可选地，在本实施例的一种实现方式中，数据处理装置还可以包括切换模块(未图示)，用于在所述分布式缓存不可用时，根据所述查询参数查询索引库中的分区索引以获取所述分区键。

可选地，在本实施例的一种实现方式中，所述数据库包括根据所述分区键分库分表的数据库。

本领域技术人员应当理解，本发明提供的数据处理方法可以理解为本发明提供的数据处理装置的逻辑处理过程，而本发明提供的数据处理装置又可以实施或执行本发明提供的数据处理方法，二者相互关联。因此，在装置实施例中，关于相关名称、术语、范围的解释，关于各个模块所执行处理或可执行处理的说明，以及关于装置实施例或实现方式的有益效果的描述，请参见方法实施例中的说明，此处不再赘述。

图3是根据本发明实施例的一种数据存储系统的框图的一例。如图3所示，数据存储系统包括分布式缓存30、索引库31和数据库32。其中，分布式缓存30用于存储用以查询查询参数与分区键的对应关系的分区索引。索引库31用于存储用以查询查询参数与分区键的对应关系的分区索引。数据库32用于存储与所述分区键相关的数据，即，数据库32存储待查询的数据。

采用本发明实施例提供的数据存储系统，支持例如图3中虚线框所示的应用服务器采用图1所示的数据处理方法以及图2所示的数据处理装置进行数据处理(例如，数据查询)，也就具有了二者的有益效果。

可选地，在本实施例的一种实现方式中，分布式缓存中的分区索引存储了所述索引库中的分区索引的部分或全部索引信息。而为了保证二者的一致性，可以通过图1所示的方法对分区索引进行更新。

可选地，在本实施例的一种实现方式中，数据存储系统还可以包括本发明提供的数据处理装置。而在一种实际应用中，该数据处理装置可以集成于应用服务器。

图4是根据本发明实施例的一种数据处理系统及相关处理的示意图。更具体而言，图4示出了在一种具体的银行领域的应用场景下，数据处理系统中各个部分之间的关系。

如图4所示，数据处理系统包括分库分表业务库、索引库、分布式缓存集群、联机应用集群和批量应用集群。其中，前三者组成如图3所示的数据存储系统的一种具体实现方式。

在本实施例中，假设分区键为客户编号，如果查询参数为卡号或者账号，则一种联机查询服务流程如下：

①：联机应用集群访问分布式缓存集群(存储有分区索引)获取卡号、账号和客户编号的对应关系(下文简称为卡账客的对应关系)。如果获取到卡账客的对应关系，则执行④，否则执行②、③和④。

②：则访问公共索引库获取卡账客对应关系。

③：根据获取的卡账客的对应关系更新分布式缓存中的分区索引。

④：根据获取到的卡账客的对应关系路由到相应的分库分表中访问业务数据。

在本实施例中，对于批量的数据更新服务，如果涉及到卡账客的对应关系的更新，则一种更新流程如下：

1：在批量更新时，由批量应用集群先更新索引库中的卡账客的对应关系。

2：再由批量应用集群更新分布式缓存中的卡账客的对应关系。

在本实施例中，对于联机的数据更新服务，如果涉及到卡账客的对应关系的更新，则一种更新流程如下：

I：在批量更新时，由联机应用集群先更新索引库中的卡账客的对应关系。

II：再由联机应用集群更新分布式缓存中的卡账客的对应关系。

以上对本发明的相关实施例及实现方式进行了详细说明，需要说明的是，本发明的一些实施例中，可以采用oraclecoherence作为分布式缓存技术的实现产品，缓存中的数据是全量数据，不会过期失效。对于索引数据，由于数据量相对较大且存在少量更新，所以优选采用分区(partition)模式。在本发明的另一些实施例中，缓存集群后台配置同步的数据库，在数据初始化及更新时，使用缓存的同步写(writethrough)机制，更新缓存数据的同时同步地更新数据库，保证数据库和缓存数据一致。应用组件访问缓存集群时，如果缓存集群处于不可用状态，由数据存储系统自动切换为访问后台同步的数据库。在本发明的其它实施例中，在生产环境中可以计划使用2个集群，依赖缓存产品进行2个集群的同步和灾备。

此外，还需要说明的是，在实施例下的多个实现方式可以以本领域技术人员所能理解的方式进行组合，虽然并未穷举组合后的内容，但这同样属于本发明的实现方式。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims

1.一种应用于数据库的数据处理方法，其特征在于，所述方法包括：

根据所述分区键访问数据库。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述查询请求中包含所述分区键时，直接根据所述分区键访问数据库。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

在根据所述查询参数查询索引库中的分区索引以获取所述分区键之后，根据所述查询参数与所述分区键的对应关系更新所述分布式缓存中的分区索引。

4.如权利要求1或3所述的方法，其特征在于，所述方法还包括：

先更新所述索引库中的分区索引，再更新所述分布式缓存中的分区索引。

5.如权利要求1所述的方法，其特征在于，所述数据库包括：根据所述分区键分库分表的数据库。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述分布式缓存不可用时，根据所述查询参数查询索引库中的分区索引以获取所述分区键。

7.一种应用于数据库的数据处理装置，其特征在于，所述装置包括：

数据访问模块，用于根据所述分区键访问数据库。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

数据访问模块触发模块，用于在所述查询请求中包含所述分区键时，直接触发所述数据访问模块。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

第一更新模块，用于在所述第二查询模块获取所述分区键之后，根据所述查询参数与所述分区键的对应关系更新所述分布式缓存中的分区索引。

10.如权利要求7或9所述的装置，其特征在于，所述装置还包括：

第二更新模块，用于按照先更新所述索引库中的分区索引，再更新所述分布式缓存中的分区索引的顺序更新分区索引。

11.如权利要求7所述的装置，其特征在于，所述数据库包括：根据所述分区键分库分表的数据库。

12.如权利要求7所述的装置，其特征在于，所述装置还包括：

切换模块，用于在所述分布式缓存不可用时，根据所述查询参数查询索引库中的分区索引以获取所述分区键。

13.一种数据存储系统，其特征在于，所述系统包括：

数据库，用于存储与所述分区键相关的数据。

14.如权利要求13所述的系统，其特征在于，所述分布式缓存中的分区索引存储了所述索引库中的分区索引的部分或全部索引信息。

15.如权利要求13所述的系统，其特征在于，所述系统还包括如权利要求7～12中任一项所述的数据处理装置。