CN102930027A - 云计算多租户架构中数据处理系统及处理方法 - Google Patents

Abstract

本发明公开了一种云计算多租户架构中数据处理系统，包括存储云计算多租户数据的数据库，其特征在于所述数据库内设置有用于存储云计算多租户数据的数据库表和对数据库表的字段进行配置的预分配字段配置表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；当进行数据处理时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据处理操作。该系统进行查询操作时，查询的最终效率还是接近于预留字段的效率。

Description

云计算多租户架构中数据处理系统及处理方法

技术领域

本发明属于云计算的数据处理技术领域，具体涉及一种云计算多租户架构中数据处理系统及处理方法。

背景技术

随着云计算不断普及，对于云计算相关应用的研究也不断深化。多租户技术是云计算之所以能够让费用更低的一个重要原因，他使得在多用户的情况下，共用相同的系统或者程序组件变得可能。

多租户架构中，不同用户的数据需要进行区分。为了配合云计算的可扩展性，还需要提供灵活的扩展方式，从根本上看，就是提供数据库表的字段的灵活扩展的方式。这点在SaaS上更为凸显，即针对多租户的表字段的扩展。

至此，人们已经提出了一些适合多租户下表字段扩展的模型，但仍未找到一个很好的解决方案，下面将一些已提出的解决方案进行比较：

1、预分配字段：在用户可能有扩展需求的表中预设一定数量的字段，用于扩展需要，通过一张额外的表来记录字段类型。通过这种方式，能够很方便的进行数据的扩展，但由于未来需求的未知性，使得如何预设扩展字段的数量使之既能够满足用户的需求，又不会导致空间的浪费却是个棘手的问题。

2、名称值对：将扩展数据的保存和原数据表分离，另外用一张统一的扩展数据表来保存扩展字段的数据，并通过若干中间表进行数据与原表的关联。通过这种方式，可以满足不断扩展的字段需求，并且不会造成空间的浪费。但在操作时，频繁的链接表的动作，会导致数据操作的效率低下。

3、数据透视表：一种通用的结构，在逻辑源表中的每一行的每一个域均被给予自己的行。通过这种方式，能够避免由于预分配而导致的空间浪费，但数据类型的转化存在问题，并且由于索引的原因，查询的性能也不是太好。

4、XML字段拓展：其基本思想是引入XML格式来处理非结构化的数据。将扩展字段设置为XML数据类型，由于XML的自身优势，能够很轻易的进行数据扩展，这样，就能够很轻易的解决数据扩展问题，并且不会造成空间的浪费。但是由于每次存取数据时，都要进行XML文件的解析，会导致效率的下降。

5、纯元数据：通过元数据表以及数据表来管理虚拟的数据表而不是一个巨大的不断变化的实际上的数据表。由于存储的是元数据而非成型的表，使得字段扩展变得十分灵活。但这同时也导致了访问时需要进行多张表间的关联，而导致存取效率的不足。

以上的现有技术都能够满足对于多租户字段扩展的需求，但均在持续的扩展性、消耗的空间和效率方面相互制约，不尽如意。本发明因此而来。

发明内容

本发明目的在于提供一种云计算多租户架构中数据处理系统，解决了现有技术中云计算多租户架构中进行数据处理时数据存储、提取、查询等操作在空间和时间复杂度上不能提供效率和空间的平衡，导致空间的浪费或存取速度不尽人意等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种云计算多租户架构中数据处理系统，包括存储云计算多租户数据的数据库，其特征在于所述数据库内设置有用于存储云计算多租户数据的数据库表和对数据库表的字段进行配置的预分配字段配置表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；当进行数据处理时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据处理操作。

本发明的另一目的在于提供一种云计算多租户架构中数据处理方法，其特征在于所述方法包括以下步骤：

（1）构建用于存储云计算多租户数据的数据库表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；

（2）构建预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；

（3）当进行数据存取时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据存取操作。

本发明的又一方面在于提供一种利用所述的数据处理系统进行数据查询的方法，其特征在于所述方法包括以下步骤：

（1）用户将查询请求递交给权利要求1所述的数据处理系统后，权利要求1所述的数据处理系统判断待查询的请求是否为xml字段；当待查询的请求不为xml字段时，过滤XML字段查询，在数据表中进行数据表字段项的查询；否则通过查询预分配字段元数据表获知XML字段的存储文件位置，并通过读取解析XML文件后在XML文件中进行查询；

（2）当在数据表中进行主字段项的查询时，权利要求1所述的数据处理系统判断待查询的请求是否为预留扩展字段；当待查询的请求为预留扩展字段，通过查询预分配字段元数据表获知预留扩展字段的位置，然后在数据表的预留扩展字段中进行查询；否则过滤预留扩展字段查询，在数据表中主字段项进行查询。

本发明技术方案针对基于SaaS多租户的表字段扩展，提出一种能够持续扩展，并且在时间和空间效用上都较好的方法。为了在多租户下使得一个表成为扩展表，并保证效率。进行数据存储的数据表需要有以下要求：

1）可扩展：能够对一个表随时添加任意多个的字段。

2）查询效率：尽可能让扩展的字段和普通字段一样，都属于原表，这样，能够保证取数据时候，只需要查询一个表就能够获取数据，以保证效率。

3）空间：在效率较高的基础上，不能够耗费过多的空间。传统的预留字段方式为了提供可扩展性，需要耗费较多的空间。

4）数据隔离：不同用户间，对于字段的配置，对于数据的添加，都不能影响到其他用户。用户只拥有对自己的数据进行扩展的权限。

本发明技术方案考虑到预留字段的方式是最为高效的一种扩展方法。因此，为每个可扩展的数据库表预留若干个字段（具体数值可在建表的时候指定），让预留的字段能够保证大多数用户的扩展需求，因此本发明技术方案能够预估需要的字段，不会对空间造成很大的浪费。

本发明技术方案考虑到预留字段方式的瓶颈，只能提供有限的扩展。考虑如何进行后续的扩展？名称值对取数据时需要对多表进行查询，会影响到后期该表与其他表的连接查询，故使用XML字段作为后续扩展的方式更为方便。为每个可扩展数据库表的最后预留一个XML字段，利用XML可无限扩展的特性，以提供用户的无限的扩展需求。

本发明技术方案考虑到需要对每个用户的数据进行单独处理，需要在扩展的表中为每条数据添加相应所属的用户信息，以识别信息的所有者。

本发明与现有技术相比，具有如下的有益效果：

本发明技术方案解决了“预留字段”方法虽然速度快，但浪费空间且只能提供有限的扩展问题；也解决了单纯使用“XML字段”会有过多的解析时间，而导致取扩展数据效率不高的问题。现有技术中使用名称值对方案虽然能够无限扩展，但取数据时候需要链接多张表造成的效率损失。

本发明技术方案中由于建表者可以预估需要使用的扩展字段数，并进行设定字段数的值，使之能够满足大多数用户的需求。当预留的扩展字段能够满足用户的需求时，则读取数据时，都是从表中的预留字段中获取，与对表的普通查询没有区别，因此效率等同于“预留字段”的方案，这种方式效率最高。当预留字段不足以满足用户持续扩展的字段需求，则使用XML字段进行字段的扩展，在读取存储在XML字段中的扩展字段数据时，需要对XML进行解析，故效率与“XML字段扩展”方案效率一致。但考虑到建表时预留的字段能够满足大多数用户的需求，因此，并非所有用户都会使用到XML字段。故查询的最终效率还是接近于预留字段的效率。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明技术方案利用云计算多租户架构中数据处理系统进行查询的流程示意图。

图2为本发明技术方案新增表字段的流程图。

图3为本发明技术方案与现有技术不同租户规模下执行测试的响应时间情况比较。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

本实施例中云计算多租户架构中数据处理系统，包括存储云计算多租户数据的数据库，所述数据库内设置有用于存储云计算多租户数据的数据库表和对数据库表的字段进行配置的预分配字段配置表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；当进行数据处理时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据处理操作。

具体的，可扩展的数据库表结构如表1所示。

表1可扩展的数据库表的结构

当创建一张新的可扩展表时，便会在用户设定的既定字段1~N的基础上，自动添加N个reverse字段和一个xml字段。其中个字段的含义如下：

1、TenantID：对于可扩展表，需要识别出每个租户的数据，因此，每个扩展表都需要一个租户ID字段来进行租户数据的识别。

2、reverse字段：建表时，预留的字段，用于存储用户的扩展数据。总共N个，当用尽时，则使用XML字段。

3、Xml字段：使用xml格式文件来记录数据，并定义对应的XML格式为

使用该XML格式，来记录field的index属性为N的数据的内容。

具体的，预分配字段配置表（ExtensibleFieldConfig）的结构如表2所示。

表2预分配字段配置表的结构

每为可扩展表添加一个字段，便会在表ExtensibleFieldConfig（预分配字段元数据表）中添加一个该扩展字段信息的记录。包括租户ID、表名、添加的位置、字段类型、字段名。

其中个字段的含义如下：

1、TenantID字段：每个租户都能够扩展字段，因此，需要租户的ID来识别该字段信息属于哪个租户。

2、TableName字段：记录该扩展字段属于哪个表。

3、ReversePosition字段：使用数字来标识该字段的值存储在扩展域中的哪个位置。使用正数1~N来表示值存储在reverse1~reverseN中；使用负数-1~-N来表示值存储在XML字段中的相应位置。如-1代表该字段的内容为xml字段中index属性为1的内容，-n代表xml字段中index属性为n的内容，依次类推，来识别该字段所处的位置。

4、FieldType字段：记录该扩展的字段是什么类型。

5、FieldName字段：记录该扩展的字段的字段名。

如图1所示，进行数据查询时，用户将查询请求递交给所述的数据处理系统后，所述的数据处理系统判断待查询的请求是否为xml字段；当待查询的请求不为xml字段时，过滤XML字段查询，在数据表中进行数据表字段项的查询；否则通过查询预分配字段元数据表获知XML字段的存储文件位置，并通过读取解析XML文件后在XML文件中进行查询；

（2）当在数据表中进行主字段项的查询时，所述的数据处理系统判断待查询的请求是否为预留扩展字段；当待查询的请求为预留扩展字段，通过查询预分配字段元数据表获知预留扩展字段的位置，然后在数据表的预留扩展字段中进行查询；否则过滤预留扩展字段查询，在数据表中主字段项进行查询。

新增表字段的流程图如图2所示。在新增表字段的时候，首先查询该表中是否有剩余的预留字段，如果有，则直接使用预留字段，否则，使用XML字段作为新字段，最后，将新增的表字段记录在配置表中。

本发明技术方案具有较高的扩展性、性能和灵活性，但同时会损失一定的空间，即用空间来换取灵活性与效率。其与现有技术的效果比较如表1所示。图3展示了在不同租户规模下通过扩展字段的值来查找与之相匹配的客户记录的响应时间情况。其中横轴均表示租户规模数，纵轴均表示响应时间。

表3本实施例技术方案与现有技术的效果比较

图3展示了在不同租户规模下通过扩展字段的值来查找与之相匹配的客户记录的响应时间情况。从图3中可以发现，在小规模租户的情况下，数据透视表有着最好的查询性能，预分配字段则查询性能最差。在中等规模租户的情况下，数据透视表依然有着最好的查询性能，预分配字段的查询性能仍是最差。在大规模租户的情况下，名称值对还有着最好的查询性能，而XML字段拓展的查询性能则最差，本发明技术方案的性能与名称值对的性能接近。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种云计算多租户架构中数据处理系统，包括存储云计算多租户数据的数据库，其特征在于所述数据库内设置有用于存储云计算多租户数据的数据库表和对数据库表的字段进行配置的预分配字段配置表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；当进行数据处理时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据处理操作。

2.一种云计算多租户架构中数据处理方法，其特征在于所述方法包括以下步骤：

（1）构建用于存储云计算多租户数据的数据库表，所述数据库表包括租户ID字段、若干个预留扩展字段和XML字段，所述租户ID字段用于进行租户数据的识别；所述预留扩展字段用于存储租户用户的扩展数据；所述XML字段用于当预留字段不足以满足用户持续扩展的字段需求时，进行存储用户的数据；

（2）构建预分配字段配置表，与数据库表中的字段名匹配，用于记录字段信息，所述字段信息包括租户ID、表名、添加的位置、字段类型、字段名；

（3）当进行数据存取时，按照步骤（2）构建的预分配字段配置表在步骤（1）构建的数据库表中进行数据存取操作。

3.利用权利要求1所述的数据处理系统进行数据查询的方法，其特征在于所述方法包括以下步骤：

（1）用户将查询请求递交给权利要求1所述的数据处理系统后，权利要求1所述的数据处理系统判断待查询的请求是否为xml字段；当待查询的请求不为xml字段时，过滤XML字段查询，在数据表中进行数据表字段项的查询；否则通过查询预分配字段元数据表获知XML字段的存储文件位置，并通过读取解析XML文件后在XML文件中进行查询；

（2）当在数据表中进行主字段项的查询时，权利要求1所述的数据处理系统判断待查询的请求是否为预留扩展字段；当待查询的请求为预留扩展字段，通过查询预分配字段元数据表获知预留扩展字段的位置，然后在数据表的预留扩展字段中进行查询；否则过滤预留扩展字段查询，在数据表中主字段项进行查询。

Images