CN106503163B - 基于SaaS应用的全局配置多租户动态数据源系统 - Google Patents

Abstract

本发明公开了基于全局配置的多租户动态切换数据源系统，主要包括：数据库级别隔离租户数据；连接池共享，连接数可控；支持特殊租户或者特殊应用的数据库映射；实时监听配置信息变化，动态调整链接信息；解决多租户的同类信息存储在同一张二维表中，维护难度大的问题；解决业务数据只达到逻辑上的租户隔离，没有实现物理隔离的问题；解决某个租户数据发生错误时，数据库的恢复影响到所有租户的问题；解决单组数据库服务器宕机时，影响所有租户访问的问题，同时解决数据库连接池不可控，没有针对特殊租户或者特殊用户的独立数据库服务的问题，克服不能通过简洁的方式具体应对租户间数据隔离问题和连接池问题的缺陷，简化动态数据源的实现方式。

Description

基于SaaS应用的全局配置多租户动态数据源系统

技术领域

本发明涉及J2EE应用或者SaaS云应用中多租户的场景技术领域，具体地，涉及基于SaaS应用的全局配置多租户动态数据源系统。

背景技术

在越来越多的J2EE应用或者SaaS云应用中，常常会涉及到多租户的场景，如B2B业务。在业务应用中，存储和获取数据都应该依据用户所属的租户信息进行区分，以避免租户间数据的混淆和影响。

针对数据库的二维表数据，通常在单库的情况下，采用的是在数据库表中加入租户编码字段的方式。在应用进行数据的查询和更新时，也需要携带租户信息以保证数据的正确性，在每个数据库表中，都存储了租户标识(tenantid)。用户从登录系统到业务查询、更新等每一步操作，应用的sql中需要携带所属租户标识。这样每个用户只能查看和操作属于本租户内的数据。

CN104991824A提供一种动态切换应用程序数据源的方法及系统，包括：在应用程序中配置多个数据源信息，启动应用程序时，加载配置项；为每个数据源建立一个连接池的独立线程，单个线程操作单个数据源；在应用程序需要切换数据源的功能模块中加入切换点；当应用程序调用所述功能模块时，根据功能模块对应配置项中的数据源信息，向连接池请求数据源，切换连接到相应的数据源。通过为每个数据源建立一个连接池的独立线程，单个线程操作单个数据源，解决了用户访问过多造成的连接争抢问题。但在数据隔离方案上，效果不佳；

CN104202383A公开了一种分布式集群环境下集中配置分发管理的方法，其具体实现过程为：加载配置文件；检查分布式协同服务中是否存在该项配置；如果存在，读取协同服务中的配置加载到应用系统中；如果不存在，将本地配置上传到协同服务并加载到应用系统中；如果需要修改某项配置，通过集中管理工具修改协同服务中的配置；最后，在应用系统中使用配置。该一种分布式集群环境下集中配置分发管理的方法与现有技术相比，为分布式集群环境下Web应用系统配置提供统一的集中管理，解决分布式系统部署、更新、管理成本高的问题，实用性强，但是在实时监控和监听时，不存在统一配置方案，过程繁琐。

CN102708316B为租户远程创建数据库和数据库表，将远程数据库表发布为Web服务描述语言(WSDL)服务，通过在云计算服务器中注册该服务，以便租户调用。当多个租户同时访问服务器时，服务器首先根据域名的唯一性以及相关权限配置，在数据库表中加以字段区别，每个租户的基础数据可以由此达到部分隔离。然后服务器会为每个租户创建独立的数据库，这样租户的数据将会完全隔离，租户之间的操作互不影响，实现良好的安全性。该方案虽有数据隔离，但是隔离的效果不佳。

现有技术中多租户的同类信息存储在同一张二维表中，后期维护难度大；业务数据只达到逻辑上的租户隔离，没有实现物理隔离；某个租户数据发生错误时，数据库的恢复影响到所有租户；单组数据库服务器宕机时，影响所有租户访问。同时存在数据库连接池不可控，没有针对特殊租户或者特殊用用的独立数据库服务，不能通过简洁的方式具体应对租户间数据格力问题和连接池问题，动态数据源的实现过程复杂。

发明内容

本发明的目的在于，针对上述问题，提出基于SaaS应用的全局配置多租户动态数据源系统，以实现的优点。

为实现上述目的，本发明采用的技术方案是：基于全局配置的多租户动态切换数据源系统，主要包括：

业务模块、动态数据源模块和数据库服务器，租户携带租户信息、应用上下文信息和用户登录信息通过动态数据源模块与数据库服务器进行数据交互，所述数据库服务器包括多个与每个租户相对应的逻辑数据库，对不同租户间的数据进行隔离。

进一步地，所述数据库服务器包括普通数据库服务器和高配置数据库服务器，所述动态数据源模块包括普通租户连接池和特殊租户连接池，多个普通租户共享同一个数据源后，通过普通租户连接池实现与普通数据库服务器中的逻辑数据库的映射；特殊租户单独享有一个数据源后，通过特殊租户连接池实现与高级配置数据库服务器中的逻辑数据库的映射。

进一步地，所述动态数据源模块还包括配置文件模块，通过配置的方式，实现在数据库服务器中不同租户间的数据隔离以及租户通过连接池与数据库服务器进行对应，具体为，基于spring框架扩展，在持久化的配置中加入对应的spring bean的配置。

进一步地，所述动态数据源模块还包括，配置中心管理模块和zookeeper集群，所述配置中心管理模块存储租户和数据库服务器之间的映射关系，对应的应用服务器存储各自管理的数据源和租户及数据库之间的映射关系配置文件，且该配置文件与配置中心管理模块的数据的保持一致，当客户端从数据库连接池取出链接后，根据映射关系通过文件配置模块，调整链接对应的逻辑数据库，实现动态数据库的切换；

所述zookeeper集群统一管理映射文件，监听配置中心的数据变化，当租户和数据库服务器映射关系需要调整时或者新增租户和数据库的对应关系时，配置中心将修改后的配置文件下发到集群的各个数据库服务器中，数据库服务器根据变化更新本地配置，实现动态调整。

本发明各实施例的基于全局配置的多租户动态切换数据源系统，由于主要包括：数据库级别隔离租户数据；连接池共享，连接数可控；支持特殊租户或者特殊应用的数据库映射；实时监听配置信息变化，动态调整链接信息；解决多租户的同类信息存储在同一张二维表中，维护难度大的问题；解决业务数据只达到逻辑上的租户隔离，没有实现物理隔离的问题；解决某个租户数据发生错误时，数据库的恢复影响到所有租户的问题；解决单组数据库服务器宕机时，影响所有租户访问的问题，同时解决数据库连接池不可控，没有针对特殊租户或者特殊用户的独立数据库服务的问题，克服不能通过简洁的方式具体应对租户间数据隔离问题和连接池问题的缺陷，简化动态数据源的实现方式。。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例所述的基于全局配置的多租户动态切换数据源系统原理示意图；

图2为本发明实施例所述的基于全局配置的多租户动态切换数据源系统描述的租户数据隔离与传统方式隔离对比图；

图3为本发明实施例所述的基于全局配置的多租户动态切换数据源系统描述的多租户共享数据源以及特殊租户和数据库之间的映射图；

图4为本发明实施例所述的基于全局配置的多租户动态切换数据源系统描述的Zookeeper统一管理映射文件，监听节点数据变化原理图；

图5为本发明实施例所述的基于全局配置的多租户动态切换数据源系统描述的现有技术数据库表设计方式示意图；

图6为本发明实施例所述的基于全局配置的多租户动态切换数据源系统描述的租户对应数据库的对应方式示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

具体地，基于全局配置的多租户动态切换数据源系统，主要包括：

业务模块、动态数据源模块和数据库服务器，租户携带租户信息、应用上下文信息和用户登录信息通过动态数据源模块与数据库服务器进行数据交互，所述数据库服务器包括多个与每个租户相对应的逻辑数据库，对不同租户间的数据进行隔离。

所述数据库服务器包括普通数据库服务器和高配置数据库服务器，所述动态数据源模块包括普通租户连接池和特殊租户连接池，多个普通租户共享同一个数据源后，通过普通租户连接池实现与普通数据库服务器中的逻辑数据库的映射；

特殊租户单独享有一个数据源后，通过特殊租户连接池实现与高级配置数据库服务器中的逻辑数据库的映射。

所述动态数据源模块还包括配置文件模块，通过配置的方式，实现在数据库服务器中不同租户间的数据隔离以及租户通过连接池与数据库服务器进行对应，具体为，基于spring框架扩展，在持久化的配置中加入对应的spring bean的配置。

所述动态数据源模块还包括，配置中心管理模块和zookeeper集群，所述配置中心管理模块存储租户和数据库服务器之间的映射关系，对应的应用服务器存储各自管理的数据源和租户及数据库之间的映射关系配置文件，且该配置文件与配置中心管理模块的数据的保持一致，当客户端从数据库连接池取出链接后，根据映射关系通过文件配置模块，调整链接对应的逻辑数据库，实现动态数据库的切换；

所述zookeeper集群统一管理映射文件，监听配置中心的数据变化，当租户和数据库服务器映射关系需要调整时或者新增租户和数据库的对应关系时，配置中心将修改后的配置文件下发到集群的各个数据库服务器中，数据库服务器根据变化更新本地配置，实现动态调整。

此方案是针对数据库连接和数据库切换的实现方案。方案利用统一的上下文信息和租户信息，在应用程序从连接池中获取链接时，根据线程绑定变量实时调整链接的属性，达到切换数据库的效果。

同时，方案支持以Spring配置文件的方式，保持租户及应用和不同数据源或者数据库之间的映射关系。在统一配置中心和配置信息节点监控的基础上，达到动态修改数据库链接的效果。

在越来越多的J2EE应用或者SaaS云应用中，常常会涉及到多租户的场景，如B2B业务。在业务应用中，存储和获取数据都应该依据用户所属的租户信息进行区分，以避免租户间数据的混淆和影响。

针对数据库的二维表数据，通常在单库的情况下，采用的是在数据库表中加入租户编码字段的方式。在应用进行数据的查询和更新时，也需要携带租户信息以保证数据的正确性。

结合图5，即在每个数据库表中，都存储了租户标识(tenantid)。用户从登录系统到业务查询、更新等每一步操作，应用的sql中需要携带所属租户标识。这样每个用户只能查看和操作属于本租户内的数据。

然而，此种传统的租户隔离方案随着数据量的增大和业务复杂度的增加，逐步暴露出一些严重的问题，诸如：

数据库的任何操作需要关联租户标识，增加了复杂度；

多租户的同类信息存储在同一张二维表中，后期维护难度大；

业务数据只达到逻辑上的租户隔离，没有实现物理隔离；

某个租户数据发生错误时，数据库的恢复影响到所有租户；

单组数据库服务器宕机时，影响所有租户访问；

须解决问题一：租户数据的真实隔离

传统的以表中租户字段的方式进行的数据区分，是逻辑上的数据隔离，没有达到真实的数据隔离。同一张表中，保存了多个租户的业务数据信息，如果某些租户的信息错误需要将数据库回滚到某一时刻的状态时，多个租户的数据都会回滚，影响正常租户业务的信息。结合图2，问题一的解决方案：由表的隔离提升到数据库级别的隔离

在本方案的支持下，数据库表中不需要再为每张表中加入租户标识的字段，租户间的数据采用逻辑数据库进行隔离。如果某个租户的信息错误后，可以单独处理此数据库的回滚。

须解决问题二：数据库连接池可控

除了传统的以各个表中加租户字段的方式，如果想达到数据的库级别的租户数据隔离，可以为每一类租户对应一个数据库，如图6所示，图中，每类租户对应了应用中的一个Datasource(数据源)，一个数据源又对应了一个连接池和一个逻辑数据库，此种情况下，随着租户注册个数的增加，连接池的个数也会增加，每个连接池中设置了最大连接数等信息，同一个应用的多个连接池不能共享且增加租户后需要修改Spring配置文件。同时，此种方案很容易造成数据库服务器的连接数不足。

须解决问题三：针对特殊租户或者特殊应用的独立数据库服务

针对问题二中的租户和连接池的对应方案，多个租户是连接的同一台数据库服务器，多个连接池共同使用一台物理数据库服务器的资源。

在多租户应用的某些场景下，部分特殊的租户(超大型租户、VIP租户)可能会对数据库的服务能力提出特殊要求，需要使用更高配置的数据库服务器单独为此租户提供数据库服务，上述方案是不能满足此类需求的。

问题二和问题三的解决方案：多租户共享数据源取代租户与数据源一一映射，支持特殊租户和数据库间的映射

结合图3，问题二中，每个租户对应一个数据源和连接池的方案不可取，虽然在实现上较为简单，但是会造成数据库连接个数的不可控，多个数据库连接池中的连接不能共享。部分租户访问量小，数据库操作少但占用了很多连接；部分VIP租户或者特殊租户数据库访问大但是连接数不够造成数据库服务瓶颈。

针对上述问题，本方案采用动态数据源代理基础的数据源，多个租户共享同一个Datasource,在获取链接后，根据租户的信息调整连接对应的逻辑数据库，以达到在共享连接池的基础上切换库的效果，满足了除特殊租户外的大部分需求

须解决问题四：通过配置的方式实现，支持多种持久化方式，对业务开发透明在多租户应用系统中，业务开发更希望投入更多的精力在核心的业务功能上，需要一种机制或方案具体应对租户间数据隔离问题和连接池问题，希望动态数据源切换的实现是可以通过配置文件的方式解决，具体实现对业务开发者透明。

问题四的解决方案：通过Spring配置文件方式，代理基础数据源

本方案是基于spring框架扩展，以配置文件的方式进行支持，对业务代码零侵入，业务开发只需在持久化的配置中加入对应的spring bean的配置即可，具体为。

须解决问题五：租户和数据库映射关系实时调整

在上述问题的基础上，实现数据源的切换时基础要求。在真实在线的系统应用上，租户注册和开通都是线上进行，系统是不能中止的。

而依赖配置文件方式的数据源方案，数据源的对应关系是保存在Spring的配置文件中的，修改Spring的配置文件需要重新启动应用，不能满足动态调整的要求。

结合图4，需要一个配置中心能够管理核心配置文件，集群中的各个应用监听配置中心的文件的变化，注册新租户或者修改租户信息时，配置中心将修改后的配置文件实时下发到集群的各个应用系统中去，应用系统根据变化更新本地配置，以达到动态修改的效果。图中描述了配置中心对于映射文件的管理和监控，应用服务器在各自管理的数据源的同时，本地都保存一份租户和数据库之间的映射关系配置，各个配置文件和配置中心的数据保持一致。客户端在从数据库连接池中取出链接后，根据映射关系利用动态数据源方案调整链接对应的逻辑数据库，达到切换数据库的目的。当租户和数据库映射关系需要调整时或者新增租户和数据库的对应关系时，管局管理人员或者程序修改配置中心的统一配置，配置中心实时通知到各个应用服务器，及时更新其本地的配置信息，达到动态调整的效果。

同时，本发明支持多种持久化方式，对开发者透明，业务开发阶段不需要关心数据库切换的具体实现，只通过Spring的配置结合即可。各种持久化方式统一从动态数据源方案提供的代理数据源中获取链接。

总体来讲，本方案相对传统的以租户标识字段来区分数据的方案，其特点在于：数据库级别隔离租户数据；连接池共享，连接数可控；支持特殊租户或者特殊应用的数据库映射；实时监听配置信息变化，动态调整链接信息；

该发明实现解决了SAAS应用中对租户数据隔离的问题，对特殊租户的单独数据库实例的要求进行了支持。方案支持数据源信息的全局可配置、可监听、集群环境下动态调整等。动态数据源代理的方式避免了连接池的爆增，使得连接数可控制。

该方案不同与传统的一个应用对应一个数据库的数据源的配置方式，采用了全新的路由管理方式，在数据库连接配置上有所创新。

全局配置方面，采用了流行的互联网中间件Zookeeper的节点监听机制，实现了应用集群下多JVM对全局配置文件的监听机制，动态的调整配置和JVM中的缓存信息，比传统的定时轮循查询并更新统一配置的方式更加优越和及时。

该方案可以在以下场景中借鉴并推广：

1)多租户类应用支持多个数据库或者多种数据库连接时；

2)应用中特殊租户或特殊的业务需要访问不同的数据源或者数据库的schema时；

3)集群环境在运行态动态监听数据库映射关系的统一配置时；

iuap平台的内部产品如云表单、元数据、工作台以及NC Cloud产品系列的友人才等已经上线使用此方案，顺利的实现了租户间数据隔离和应用对数据库的访问。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于SaaS应用的全局配置多租户动态数据源系统，其特征在于，包括业务模块、动态数据源模块和数据库服务器，租户携带租户信息、应用上下文信息和用户登录信息通过动态数据源模块与数据库服务器进行数据交互，所述数据库服务器包括多个与每个租户相对应的逻辑数据库，对不同租户间的数据进行物理隔离，所述数据库服务器包括普通数据库服务器和高配置数据库服务器，所述动态数据源模块包括普通租户连接池和特殊租户连接池，多个普通租户共享同一个数据源后，通过普通租户连接池实现与普通数据库服务器中的逻辑数据库的映射；

特殊租户单独享有一个数据源后，通过特殊租户连接池实现与高级配置数据库服务器中的逻辑数据库的映射。

2.根据权利要求1所述的基于SaaS应用的全局配置多租户动态数据源系统，其特征在于，所述动态数据源模块还包括配置文件模块，通过配置的方式，实现在数据库服务器中不同租户间的数据隔离以及租户通过连接池与数据库服务器进行对应，具体为，基于spring框架扩展，在持久化的配置中加入对应的spring bean的配置。

3.根据权利要求2所述的基于SaaS应用的全局配置多租户动态数据源系统，其特征在于，所述动态数据源模块还包括，配置中心管理模块和zookeeper集群，所述配置中心管理模块存储租户和数据库服务器之间的映射关系，对应的应用服务器存储各自管理的数据源和租户及数据库之间的映射关系配置文件，且该配置文件与配置中心管理模块的数据的保持一致，当客户端从数据库连接池取出链接后，根据映射关系通过文件配置模块，调整链接对应的逻辑数据库，实现动态数据库的切换；

所述zookeeper集群统一管理映射文件，监听配置中心的数据变化，当租户和数据库服务器映射关系需要调整时或者新增租户和数据库的对应关系时，配置中心将修改后的配置文件下发到集群的各个数据库服务器中，数据库服务器根据变化更新本地配置，实现动态调整。